GLSL filtering in Vapoursynth, suche Empfehlungen?

Selur · January 23, 2021 at 9:59 PM

Hi, die Tage hatte mich jemand gefragt ob ich nicht Support für FSRCNNX in Hybrid implementieren könnte.

Dank placebo.Shader (siehe: vs-placebo) war das kein größeres Problem und es funktioniert auch gut.

Soweit so gut,... das Ganze hat bei mit ein paar Fragen aufgeworfen:

Was gibt es neben FSRCNNX noch für interessante glsl-Filter ?

(müssen mpv kompatible sein, damit sie mit vs-placebo funktionieren)

Momentan kenne ich:

Anime4k: https://github.com/bloc97/Anime4K/tree/master/glsl (für Anime: upscaling, denoising, line darkening, line thinning)
FSRCNNX: https://github.com/igv/FSRCNN-TensorFlow/releases (upscaling)
https://gist.github.com/igv (adaptive sharpen, upscaling)

Hat sich schon mal jemand genauer damit für mpv oder Vapoursynth beschäftigt und kann andere glsl filter empfehlen?

Cu Selur

monarc99 · January 24, 2021 at 12:03 AM

paar Upscaler:

https://artoriuz.github.io/blog/mpv_upscaling.html

https://github.com/bjin/mpv-prescalers

Finesharp gibts auch noch. Gibt noch andere, z.B. LumaSharpenHook

Aber wo die genau her waren, weiß ich auch nicht mehr.

https://gist.github.com/igv hast du ja schon erwähnt. KrigBilateral Shader als Downscaler.

Selur · January 24, 2021 at 7:59 AM

Danke

Quote

paar Upscaler:

https://artoriuz.github.io/blog/mpv_upscaling.html

https://github.com/bjin/mpv-prescalers

Die .hook filter gehen leider nicht mit vs-placebo.

Quote

KrigBilateral Shader als Downscale

Da bin ich noch skeptisch, dass das ne gute Idee ist,.. (gist link entfernt)

Cu Selur

FatFaster · January 24, 2021 at 10:25 PM

Viel mehr kenne ich auch nicht. Finde SSimSuperRes (siehe igv link) ist ziemlich gut und schnell.

monarc99 · March 6, 2021 at 11:29 PM

Inzwischen gibt auch AviSynth AiUpscale:

https://github.com/Alexkral/AviSy…ases/tag/v1.1.0

unter den Release Dateien gibts glsl Shader für mpv. Und die funktionieren wirklich gut.

https://github.com/Alexkral/AviSy…0/mpv.hooks.zip

Sollen auch bald eine neuere Version rauskommen.

Selur · March 7, 2021 at 6:42 AM

Nice. Danke für die Info!

Cu Selur

mogobime · April 26, 2022 at 7:42 PM

Über mpv.io habe ich noch wichtige resize filter gefunden.

Der einzig offizielle reine downscaler SSIMDownscaler sollte ein must-have beim nächsten Hybrid release sein.

Der kommt in diesem ausführlichen Resizer Vergleich exzellent weg.

KrigBilateral wird hier ebenfalls als ein empfehlenswerter Chroma Up+Downscaler erwähnt.

Beide hier zu finden: https://gist.github.com/igv

Außerdem fehlen in Hybrid auch die FSRCNNX-Enhance resize filter, die geeignet sind starke Kompressionsartefakte bei normalem und Anime Material zu entfernen:

https://github.com/HelpSeeker/FSR…tag/1.1_distort

Gruß, mogobime

Selur · April 26, 2022 at 7:45 PM

Hab in Hybrid bis dato nur ein paar GLSL Filter reingepackt die ich bis dato verwendet. Habe.

Haste KrigBilateral mal angetestet? Vor allem wie der sich bei normalem (nicht Cartoon) verhält?

mogobime · April 26, 2022 at 7:57 PM

Nope, nur SSIMDownscaler, der ist relativ schnell, bringt scharfe Bilder bei niedrigerer Bitrate als Lanczos + Spline16.

Hab kein Cartoon Material da, überhaupt mangelt es mir an verschiedenartigen test Clips. Hatte mal so ne collection an verschiedensten test clips von dir, aber die ist mir verloren gegangen

EDIT: SSIMDownloader in SSIMDownscaler geändert

Selur · April 26, 2022 at 8:04 PM

Muss mal schauen wann ich Zeit finde GLSL Filter zu testen und zu schauen, welche ich fest in der GUI integriere und welche nur mit Hybrid mit kommen.

"SSIMDownloader" -> SSIMDownscaler

Cu Selur

Selur · April 26, 2022 at 8:09 PM

Hab hier auch noch GLSL Filter um:

a. film grain oder noise zum Film hinzuzufpgen

b. die saturation zu ändern

wundert mich eigentlich, dass es nicht viel mehr GLSL Filter für Farbanpassungen (Gamma, Hue, etc. gibt)

Cu Selur

mogobime · April 26, 2022 at 8:23 PM

Weiss ehrlich gesagt auch gar nicht wie ich einen Chroma Scaler testen soll. Chroma Scaling ist in VapourSynth ja getrennt von Luma unter Filtering->VapourSynth->Misc->color resizer. Da müsste man ja erstmal den dort befindlichen color resizer deaktivieren...

Selur · April 26, 2022 at 8:29 PM

Ne,.....

"Filtering->VapourSynth->Misc->color resizer." Setzt fest was als XXX bei z.B.

Code

# adjusting color space from YUV420P8 to YUV444P16 for VsGLSLResizer
clip = core.resize.XXX(clip=clip, format=vs.YUV444P16, range_s="limited")

verwendet wird.

So wie ich das verstanden habe, sollte KrigBilateral so verwenden, dass man den Clip quasi 2mall resized

Einmal normal. Ein anderes mal mit dem KrigBilateral.

Anschließend würde man dann Y aus dem mit dem normalen Resizer geresizten Clip und UV aus dem mit KrigBilateral gesiztem Clip nehmen,...

Cu Selur

Selur · April 26, 2022 at 8:46 PM

Hab auch mal https://github.com/Selur/hybrid-glsl-filters aktualisiert mit den Filtern die ich so rumliegen habe.

Muss aber noch schauen, welche ich 'fest' in die GUI aufnehme.

Cu Selur

monarc99 · April 26, 2022 at 9:09 PM

Quote from Selur

wundert mich eigentlich, dass es nicht viel mehr GLSL Filter für Farbanpassungen (Gamma, Hue, etc. gibt)

Soll ja ne neue API kommen, die mehr Möglichkeiten bietet. Vielleicht gibts dann auch mehr Filter.

https://code.videolan.org/videolan/libplacebo/-/issues/174

Würde man z.B. für FSR 2.0 (AMD FidelityFX Super Resolution 2.0) brauchen, weil der FSR 2.0 Zugriff auf Frames vor/nach des aktuellen Frames benötigt.

Hier gibts noch: NVIDIA Image Scaling / AMD FidelityFX Super Resolution und AMD FidelityFX Contrast Adaptive Sharpening als GLSL

https://gist.github.com/agyild

Selur · April 26, 2022 at 9:14 PM

Man wird sehen, werde die Image scaler die Tage mal anschauen, aber jetzt muss ich gleich in Bett,.. (morgen 4 Uhr aufstehen,...)

n8

Cu Selur

mogobime · April 26, 2022 at 9:38 PM

monarc99:

Ist dir mal irgendwo ein GLSL denoise oder degrain filter untergekommen? bis jetzt hab ich nur welche gesehen, die z.B. grain hinzufügen.

Selur · April 27, 2022 at 4:11 AM

Nope, noch kein Degrain&Co gesehen nur generelle Smoother.

mogobime · April 27, 2022 at 6:36 AM

Quote from Selur

Nope, noch kein Degrain&Co gesehen nur generelle Smoother.

Das war an monarc99 gerichtet, dass du keine gefunden hast, hab ich gelesen.

Rauschunterdrückung scheint wohl bei nem Videoplayer kein sonderlich gefragtes feature zu sein.

Allerdings verstehe ich noch weniger, warum jemand einen AddGrain filter in mpv braucht...

monarc99 · April 27, 2022 at 12:34 PM

mogobime

nö, sind mir leider keine bekannt. Vielleicht gibt ja welche, aber die wurden eventuell nie geteilt, weil sie fürs Live-Abspielen einfach zu langsam sind.

Participate now!