Super Resolution Erfahrungen?

Da es ja mittlerweile einige Methoden für Super Resolution gibt wollte ich mal fragen ob sich damit mal jemand ernsthaft beschäftigt hat.

Möglichkeiten zum Upscaling die mir dabei direkt in den Sinn kommen:

• NNEDI3(CL)
• SRMD (https://github.com/Kiyamou/VapourSynth-SRMD-ncnn-Vulkan)
• Waifu2x (https://github.com/Nlzy/vapoursynth-waifu2x-ncnn-vulkan)
• VSGAN (https://github.com/rlaPHOENiX/VSGAN)
• AiUpscale (https://github.com/Alexkral/AviSynthAiUpscale)
• RealSR (https://github.com/nihui/realsr-ncnn-vulkan), https://github.com/Kiyamou/VapourSynth-RealSR-ncnn-Vulkan/
• Super-Resolution-Zoo (https://github.com/WolframRhodium/Super-Resolution-Zoo) & Super-Resolution-Helper (https://github.com/AlphaAtlas/Vap…solution-Helper)
• TecoGAN (https://github.com/thunil/TecoGAN)
• DaVinci Resolve Super Scale Feature (https://www.blackmagicdesign.com/de/products/davinciresolve)
• Topaz Video Enhance AI (https://topazlabs.com/video-enhance-ai/)
• BasicVSR (https://github.com/xinntao/BasicSR) https://github.com/HolyWu/vs-basicvsr

Da ich selber kaum Verwendung dafür hab es aber interessant finde wollte ich mal fragen ob hier jemand Erfahrungen sammeln konnte und die ein oder andere Variante wirklich benutzt.

Fallen euch noch so für interessante Upscaler ein?

Hat hier jemand man ernsthaft die einzelnen Varianten angetestet und verglichen?

Hat jemand Erfahrungen in wie weit neuer NVIDIA GPUs da Geschwindigkeitsmäßig helfen? (macht es Sinn sich da von NVIDIA ne RTX Karte zuzulegen?)

Cu Selur

Spiele gerade etwas mit RealSR herum und zumindest so lange man eine sauber (=Artifakt freie) Quelle hat sieht es cool aus.

http://www.framecompare.com/image-compare/…arison/KKW67NNX

Angemerkt sei ich nutze:

clip =core.rsnv.RealSR(clip=clip,tilesize_x=40,tilesize_y=40)

wenn ich tilesize nicht explizit setze verabschieded sich Vapoursynth. (entweder ein Bug oder meine GPU kommt nicht mit)

Wenn die Quelle nicht 'sauber' ist sieht's unschön aus:

http://www.framecompare.com/image-compare/…arison/FF0MFNNU

-> Wenn jemand ne neuere RTX Karte oder dergleichen hat könnte er mal testen ob das mit neueren Karten flotter&stabiler läuft.

Cu Selur

btw. falls jemand VSGAN antesten will, bei https://forum.selur.net/Thread-Why-VSGAN-is-not-supported hab ich ne kleine Anleitung geschrieben wie man ein portables Vapoursynth mit VSGAN aufsetzt und warum das nicht Teil von Hybrid ist.

Cu Selur

Mal schauen ob irgendwas davon auch ordentlich bei Video funktioniert und zu Vapoursynth portiert wird.

Wobei das mit dem glätten je nach Auflösung nicht verkehrt sein muss, hab mir mal ein paar Sachen mit dem Remacri-Modellen in VSRGAN angeschaut und je nach Quelle ist das durchaus sinnig, auch wenn es sich nicht um Cartoons handelt. (Zugegeben bei klassischen Cartoons sind die ganzen ...GAN Resizer und Filter echt nice.)

Zur Unterhaltung hab ich mal ein BSRGAN-Model auf deinen Avatar losgelassen: (links BSRGAN, rechts: spline16 resize)

[Blocked Image: http://www.image-share.com/upload/4158/300.png]

(bei normalen Bildern wird nicht so krass geglättet, aber bei nicht verpixelten Quellen trotzdem stärker als ich glätten würde)

Cu Selur

So wie ich: https://github.com/nihui/srmd-ncnn-vulkan/issues/4 verstehe müssten die Modelle wohl irgendwie konvertiert werden um mit ncnn nutzbar zu sein.

Ohne NVIDIA Karte könnte man vermutlich alles über die CPU laufen lassen (gibt ja auch pytorch für die CPU).

Eventuell geht auch VULKAN, zumindest bei https://pytorch.org/tutorials/prototype/vulkan_workflow.html hört es sich so an, als ob man pytorch auch mit VULKAN backend verwenden könnte wenn man es entsprechend kompiliert.

Cu Selur

Hat eigentlich schon jemand was gelesen ob die neuen LHR (lite hash rate) Karten die NVIDIA rausbringen will auch irgendwie ineffizienter werden bzgl. KI/ML Zeug?

Danke für die Infos.

Hab noch etwas mit VSGAN rumgespielt,...

Man schon schöne Effekte erzielen, aber:

a. man merkt, das meine Geforce GTX 1070ti jetzt auch schon 3 1/2 Jahre alt ist (alles sehr langsam; nicht fps sondern spf)

b. leider geht einem da schnell der Arbeitsspeicher der Grafikkarte aus (hab 8GB); FullHD filtern ist schon problematisch (keine Chance bei 4k)

c. leider läuft ESGRAN nur in RGB24 und nicht auch RGB48.

(leider kann man nicht einfach das .pth file von DeOldify verwenden)

Cu Selur