Beiträge von monarc99

Apropo FPS: bevor es verloren geht, weil es vermutlich nie in ffmpeg aufgenommen wird

hat schon jemand NVIDIA Optical Flow Accelerator (NVOFA) FRUC ausprobiert?

Zitat

The library exposes FRUC APIs that can be used for frame rate up conversion of video files. See https://docs.nvidia.com/video-…gramming-guide/index.html for the API documentation and sample code.

This is important because NVIDIA GPUs since the Turing generation have hardware support for optical flow-based frame interpolation. MPV already includes --interpolation, but if the GPU supports optical flow-based frame interpolation, this should obviously be preferred for maximum smoothness and quality. I believe NVOFA FRUC only returns interpolated frames, so exactly which frames are interpolated would need to be decided (to match the user's monitor's frame rate, to match to an arbitrary fps, to just interpolate between all frames --> 2x fps, etc.).

wurde hier im mpv issue besprochen: https://github.com/mpv-player/mpv/issues/11060

philipl hat auch ein ffmpeg filter dafür geschrieben, der aber wegen den Lizenzen nie offiziell Teil von ffmpeg sein wird.

https://github.com/philipl/FFmpeg/tree/fruc-me

Wer es ausprobieren will. Ich würde gerne, man braucht aber eine neuere Nvidia GPU. RTX und so.

Zitat von Augur89

Für Interessierte: Ich habe bei meinen bisherigen Testfiles die Farbsättigung und den Kontrast per Filter jeweils um 50 % reduziert.

Die Bitratenersparnis betrug bei den 3 Testfiles zwischen 45-55 %.

Was mich interessieren würde, geht denn die Information alleine durch die Farbsättigung und den Kontrast Änderung verloren?

Oder ist das nur der Codec, der dann auf die verminderte Helligkeit reagiert und die Bitrate runterregelt.

Also wird die kodierte Datei schon kleiner, wenn man einmal die Farbsättigung und den Kontrast im Script runter und gleich wieder hochsetzt, bevor man dann kodiert?

Hat schon mal jemand den stable diffusion upscaler ausprobiert, was der aus Bildern macht?

https://huggingface.co/stabili…ble-diffusion-x4-upscaler

Habe jetzt vapoursynth nicht probiert. Bei mpv funktioniert der Shader bei OpenGL ohne Probleme.

Wenn ich aber die gpu-api auf vulkan stelle, läuft der Shader nur mit den Intel Treibern. Bei den Nvidia Treibern meines Desktop Systems (Linux, 515.76) bekomme ich da nur grüne Punkte oder ganz schwarzes Bild.

ich denke schon, aber frag den ihn am besten selber. Am einfachsten selbst mit mpv ausprobieren.

in die input.conf von mpv z.B. folgendes rein:

input.conf:

F4 no-osd change-list glsl-shaders toggle "~~/shaders/nlmeans.glsl"; show-text "Non-local means (LUMA only)"

dann einfach mpv starten, Bild anhalten und mit F4 den Shader togglen.

2 Beispielbilder:

https://raw.githubusercontent.…se%3Dalls%3D5_nlmeans.png

https://raw.githubusercontent.…/shaders/lena_nlmeans.png

Reddit Link:

https://www.reddit.com/r/mpv/c…nonlocal_means_denoising/

Vielleicht ist noch die next Variante interessant:

https://github.com/AN3223/dotf…aster/.config/mpv/shaders

https://raw.githubusercontent.…shaders/nlmeans_next.glsl

What's the diff between thoes variants?

AN3223

The only variant in the repo worth using is nlmeans_next.glsl for temporal denoising, it's the same but it loads all of the storage textures for the frames, which is only compatible with vo=gpu-next (and they slow down the shader a good bit even if the feature isn't being used).

Hier arbeitet jemand an einem nlmeans Denoise Filter.

https://github.com/AN3223/dotf…/mpv/shaders/nlmeans.glsl

Gibt halt noch andere Repos, wo Leute an glsl Shadern probieren, aber da müsste man kucken, ob da was dabei ist.

z.B.

https://github.com/thetaepsilon/mpv_shaders/tree/main/src

Zitat von Selur

//!COMPUTE 32 24 256 1

Äh .... überlege gerade was du meinst.

Der Metadata !//COMPUTE in Zeile 2 bei NVShader legt fest, dass es ein compute Shader ist und wie dessen Parameter sind.

Wird dann von libplacebo umgesetzt.

Du musst halt für Nvidia GPU Zeile 2 und 10 ändern. Für optimale Performance.

//!COMPUTE 32 24 128 1

//!WHEN OUTPUT.w OUTPUT.h * LUMA.w LUMA.h * / 1.0 >

//!WIDTH OUTPUT.w

//!HEIGHT OUTPUT.h

// User variables

#define SHARPNESS 0.25 // Amount of sharpening. 0.0 to 1.0.

#define NIS_THREAD_GROUP_SIZE 128

Du musst NIS_THREAD_GROUP_SIZE und die COMPUTE Befehl ändern. Muss der gleiche Wert sein.

NIS_THREAD_GROUP_SIZE: number of threads per group. Use GetOptimalThreadGroupSize query for your platform

https://gist.githubusercontent…81b9a95fcd095931/CAS.glsl

https://gist.githubusercontent…8fa7412cfa/NVSharpen.glsl

Musst bißchen suchen. Sind Varianten, die nur bei bestimmten Bedingungen aktiviert werden. z.b. wird skaliert oder nicht. Am besten sourcecode lesen

Ja, da muss man immer etwas anpassen, bei mpv durch die autoproflies mehrere/richtige Varianten einsetzen.

mit CAS hab ich jetzt noch nicht viel gemacht. Aber du meinst mit der scaled Version?

hast du die CAS.glsl auch probiert?

Auf der Seite sind meist mehrere glsl Varianten. z.B. NVScaler und NVSharpen

oder CAS-scaled.glsl und CAS.glsl

Zitat von Selur

Funktioniert bei dir das CAS-scaled von https://gist.github.com/agyild?

Sehe da auch mit SHARPENING 1.0 keinen Unterschied.

FSR.glsl scheint bei mir auch nicht zu gehen,..

braucht man bei den beiden eventuell ne AMD Karte?

Die gehen schon, sind aber zickig. In Kombination mit anderen gibt es da Probleme.

mogobime

nö, sind mir leider keine bekannt. Vielleicht gibt ja welche, aber die wurden eventuell nie geteilt, weil sie fürs Live-Abspielen einfach zu langsam sind.

Zitat von Selur

wundert mich eigentlich, dass es nicht viel mehr GLSL Filter für Farbanpassungen (Gamma, Hue, etc. gibt)

Soll ja ne neue API kommen, die mehr Möglichkeiten bietet. Vielleicht gibts dann auch mehr Filter.

https://code.videolan.org/videolan/libplacebo/-/issues/174

Würde man z.B. für FSR 2.0 (AMD FidelityFX Super Resolution 2.0) brauchen, weil der FSR 2.0 Zugriff auf Frames vor/nach des aktuellen Frames benötigt.

Hier gibts noch: NVIDIA Image Scaling / AMD FidelityFX Super Resolution und AMD FidelityFX Contrast Adaptive Sharpening als GLSL

https://gist.github.com/agyild

Hast du eigentlich bei av1 mal tune=vmaf getestet? (als Warnung sehr langsam)

https://www.reddit.com/r/AV1/c…yx/libaom_adds_vmaf_tune/

Ob du keyframe pumping bekommst, kannst du nur ausprobieren.

Software gibts dafür ja schon:

https://github.com/master-of-zen/Av1an

Im GameUpscale Reddit haben sie inzwischen auch die neueren Modelle entdeckt.

zb GFPGAN face restoration

https://preview.redd.it/q247j7…91bcffd5fbcaa6101187e977c

oder BSRGAN bei Call of Duty 1: https://www.nexusmods.com/callofduty/mods/1669/

https://preview.redd.it/tq587n…a77374311eded83935d09fd75

https://preview.redd.it/kcz8yp…0fa829ee4686fce0c213ccb6f

https://preview.redd.it/9mqtr2…64df4220c695532447d5a3146

Ich benutze den häufiger, der funktioniert sehr gut.

Kommt ja schon die nächste Welle an Projekten. Mal sehen was sich da durchsetzt.

Aufgefallen ist mir jetzt z.B. mal

https://github.com/cszn/BSRGAN

https://github.com/vvictoryuki/BSRGAN_implementation

https://yinboc.github.io/liif/

iif deshalb, weil mich das Video etwas an CSI erinnerte.

Zitat

Format profile : Main@L3.1

Writing library : x264 core 161 r3048

Encoding settings : cabac=1 / ref=8 / deblock=1:-3:-3 / analyse=0x1:0x131 / me=umh / subme=9 / psy=1 / psy_rd=2.00:0.70 / mixed_ref=0 / me_range=16 / chroma_me=1 / trellis=2 / 8x8dct=0 / cqm=0 / deadzone=6,6 / fast_pskip=1 / chroma_qp_offset=-4 / threads=18 / lookahead_threads=1 / sliced_threads=0 / nr=0 / decimate=0 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=3 / b_pyramid=0 / b_adapt=2 / b_bias=0 / direct=3 / weightb=1 / open_gop=0 / weightp=2 / keyint=250 / keyint_min=25 / scenecut=40 / intra_refresh=0 / rc_lookahead=60 / rc=crf / mbtree=1 / crf=19.0 / qcomp=0.80 / qpmin=10 / qpmax=69 / qpstep=4 / vbv_maxrate=2400 / vbv_bufsize=14000 / crf_max=0.0 / nal_hrd=none / filler=0 / ip_ratio=1.10 / aq=3:1.20

Ist aber kein x265, wie oben erwähnt. Sondern x264.

Default x264 Werte sind das auch nicht unbedingt. Hast du die absichtlich so eingestellt, oder von irgendwo übernommen?