Beiträge von monarc99

Zitat von Selur

Denke aber generell wird das sicher kommen, dass man Diffusion Modelle und dergleichen zur Restauration verwenden wird, auch wenn man da immer auf die 'Authentizität' achten muss.

Das Problem ist halt, man bei Video i.d.R. nur eine Verbesserung und nicht ein Ersetzen haben will.

Wenn man bei codeformer als Gewichtung 0 verwendet, passiert halt so etwas: https://imgsli.com/MTY2NDI2
Wenn man ein Familienvideo aufbessern will und die Oma wird zu Cindy Crawford, weil man dem Model gesagt hat, es möge das Bild aufbessern,...

Cu Selur

Alles anzeigen

Oma sah doch schon immer so aus
Da ist es ärgerlich, schwierig wirds, wenn die Leute sowas aus Absicht machen.

Also absichtliche Geschichtsfälschung und aus Politikgründen verbreiten oder aus Gier. Ich bin mir sicher, dass der Markt aus Stock Bildern bald zerstört ist.

Wer damit sein Geld verdient, tut mir leid.

Schaut nicht schlecht aus.

Wobei ich so langsam den Überblick über die verschiedenen Modelarten verliere.

Ich frage mich, ob man auch Diffusion Modelle irgendwann zur Restauration verwenden kann. Oder kommt da immer zufälliges raus.

Sind ja schon die ersten Text-to-Video da:

https://dreamix-video-editing.github.io/

https://www.nvidia.com/en-us/gpu-cloud/picasso/

Das dürften ja Modelle sein, die Einzelbilder transformieren. Interessant würden Modelle sein, die über mehrere Frames - wie rife - gehen, dafür dürfte aber die Hardware lange noch nicht reichen. Selbst mit tensorrt bekommst du kaum realtime hin.

Wo nimmst du eigentlich deine Modelle her?

Zitat von Selur

Beeindruckend ist die Kombination aus SwinIRx4+vsCodeFormer: https://imgsli.com/MTY2NDA3 aber als LiveFilter momentan nicht zu gebrauchen.

Schaut gut aus. Und wieso nicht als Livefilter zu gebrauchen, wenn es schnell genug wäre?

Erinnert an die Asia Filter, die es in Massen gibt.

Ist doch der Traum für Streamer, die eine Webcam benutzen.

Funktioniert es denn, wenn du es mit der mkvmerge GUI zusammenstellst? Da kannst du dann auch sehen, welchen command der ausführen würde.

Apropo FPS: bevor es verloren geht, weil es vermutlich nie in ffmpeg aufgenommen wird

hat schon jemand NVIDIA Optical Flow Accelerator (NVOFA) FRUC ausprobiert?

Zitat

The library exposes FRUC APIs that can be used for frame rate up conversion of video files. See https://docs.nvidia.com/video-…gramming-guide/index.html for the API documentation and sample code.

This is important because NVIDIA GPUs since the Turing generation have hardware support for optical flow-based frame interpolation. MPV already includes --interpolation, but if the GPU supports optical flow-based frame interpolation, this should obviously be preferred for maximum smoothness and quality. I believe NVOFA FRUC only returns interpolated frames, so exactly which frames are interpolated would need to be decided (to match the user's monitor's frame rate, to match to an arbitrary fps, to just interpolate between all frames --> 2x fps, etc.).

wurde hier im mpv issue besprochen: https://github.com/mpv-player/mpv/issues/11060

philipl hat auch ein ffmpeg filter dafür geschrieben, der aber wegen den Lizenzen nie offiziell Teil von ffmpeg sein wird.

https://github.com/philipl/FFmpeg/tree/fruc-me

Wer es ausprobieren will. Ich würde gerne, man braucht aber eine neuere Nvidia GPU. RTX und so.

Zitat von Augur89

Für Interessierte: Ich habe bei meinen bisherigen Testfiles die Farbsättigung und den Kontrast per Filter jeweils um 50 % reduziert.

Die Bitratenersparnis betrug bei den 3 Testfiles zwischen 45-55 %.

Was mich interessieren würde, geht denn die Information alleine durch die Farbsättigung und den Kontrast Änderung verloren?

Oder ist das nur der Codec, der dann auf die verminderte Helligkeit reagiert und die Bitrate runterregelt.

Also wird die kodierte Datei schon kleiner, wenn man einmal die Farbsättigung und den Kontrast im Script runter und gleich wieder hochsetzt, bevor man dann kodiert?

Hat schon mal jemand den stable diffusion upscaler ausprobiert, was der aus Bildern macht?

https://huggingface.co/stabili…ble-diffusion-x4-upscaler

Habe jetzt vapoursynth nicht probiert. Bei mpv funktioniert der Shader bei OpenGL ohne Probleme.

Wenn ich aber die gpu-api auf vulkan stelle, läuft der Shader nur mit den Intel Treibern. Bei den Nvidia Treibern meines Desktop Systems (Linux, 515.76) bekomme ich da nur grüne Punkte oder ganz schwarzes Bild.

ich denke schon, aber frag den ihn am besten selber. Am einfachsten selbst mit mpv ausprobieren.

in die input.conf von mpv z.B. folgendes rein:

input.conf:

F4 no-osd change-list glsl-shaders toggle "~~/shaders/nlmeans.glsl"; show-text "Non-local means (LUMA only)"

dann einfach mpv starten, Bild anhalten und mit F4 den Shader togglen.

2 Beispielbilder:

https://raw.githubusercontent.…se%3Dalls%3D5_nlmeans.png

https://raw.githubusercontent.…/shaders/lena_nlmeans.png

Reddit Link:

https://www.reddit.com/r/mpv/c…nonlocal_means_denoising/

Vielleicht ist noch die next Variante interessant:

https://github.com/AN3223/dotf…aster/.config/mpv/shaders

https://raw.githubusercontent.…shaders/nlmeans_next.glsl

What's the diff between thoes variants?

AN3223

The only variant in the repo worth using is nlmeans_next.glsl for temporal denoising, it's the same but it loads all of the storage textures for the frames, which is only compatible with vo=gpu-next (and they slow down the shader a good bit even if the feature isn't being used).

Hier arbeitet jemand an einem nlmeans Denoise Filter.

https://github.com/AN3223/dotf…/mpv/shaders/nlmeans.glsl

Gibt halt noch andere Repos, wo Leute an glsl Shadern probieren, aber da müsste man kucken, ob da was dabei ist.

z.B.

https://github.com/thetaepsilon/mpv_shaders/tree/main/src

Zitat von Selur

//!COMPUTE 32 24 256 1

Äh .... überlege gerade was du meinst.

Der Metadata !//COMPUTE in Zeile 2 bei NVShader legt fest, dass es ein compute Shader ist und wie dessen Parameter sind.

Wird dann von libplacebo umgesetzt.

Du musst halt für Nvidia GPU Zeile 2 und 10 ändern. Für optimale Performance.

//!COMPUTE 32 24 128 1

//!WHEN OUTPUT.w OUTPUT.h * LUMA.w LUMA.h * / 1.0 >

//!WIDTH OUTPUT.w

//!HEIGHT OUTPUT.h

// User variables

#define SHARPNESS 0.25 // Amount of sharpening. 0.0 to 1.0.

#define NIS_THREAD_GROUP_SIZE 128

Du musst NIS_THREAD_GROUP_SIZE und die COMPUTE Befehl ändern. Muss der gleiche Wert sein.

NIS_THREAD_GROUP_SIZE: number of threads per group. Use GetOptimalThreadGroupSize query for your platform

https://gist.githubusercontent…81b9a95fcd095931/CAS.glsl

https://gist.githubusercontent…8fa7412cfa/NVSharpen.glsl

Musst bißchen suchen. Sind Varianten, die nur bei bestimmten Bedingungen aktiviert werden. z.b. wird skaliert oder nicht. Am besten sourcecode lesen

Ja, da muss man immer etwas anpassen, bei mpv durch die autoproflies mehrere/richtige Varianten einsetzen.

mit CAS hab ich jetzt noch nicht viel gemacht. Aber du meinst mit der scaled Version?

hast du die CAS.glsl auch probiert?

Auf der Seite sind meist mehrere glsl Varianten. z.B. NVScaler und NVSharpen

oder CAS-scaled.glsl und CAS.glsl

Zitat von Selur

Funktioniert bei dir das CAS-scaled von https://gist.github.com/agyild?

Sehe da auch mit SHARPENING 1.0 keinen Unterschied.

FSR.glsl scheint bei mir auch nicht zu gehen,..

braucht man bei den beiden eventuell ne AMD Karte?

Die gehen schon, sind aber zickig. In Kombination mit anderen gibt es da Probleme.

mogobime

nö, sind mir leider keine bekannt. Vielleicht gibt ja welche, aber die wurden eventuell nie geteilt, weil sie fürs Live-Abspielen einfach zu langsam sind.

Zitat von Selur

wundert mich eigentlich, dass es nicht viel mehr GLSL Filter für Farbanpassungen (Gamma, Hue, etc. gibt)

Soll ja ne neue API kommen, die mehr Möglichkeiten bietet. Vielleicht gibts dann auch mehr Filter.

https://code.videolan.org/videolan/libplacebo/-/issues/174

Würde man z.B. für FSR 2.0 (AMD FidelityFX Super Resolution 2.0) brauchen, weil der FSR 2.0 Zugriff auf Frames vor/nach des aktuellen Frames benötigt.

Hier gibts noch: NVIDIA Image Scaling / AMD FidelityFX Super Resolution und AMD FidelityFX Contrast Adaptive Sharpening als GLSL

https://gist.github.com/agyild