Super Resolution Erfahrungen?

Selur · 30. Mai 2021

Hier mal ein Bild mit einem anderen Model:

ist nicht ganz so glatt.

Um richtig alte Aufnahmen irgendwie noch brauchbar zu machen sind die ganzen Modelle ganz nett.

Cu Selur

Selur · 30. Mai 2021

Hab mal den Suzie testclip und durch VSGAN mit dem BSRGAN model laufen lassen und so auf 70x576 gebracht.

Code

import vapoursynth as vs
core = vs.get_core()
# Loading VSGAN
from vsgan import VSGAN
# Loading C:\Users\Selur\Desktop\suzie_qcif.y4m using RawsSource
clip = core.raws.Source("C:/Users/Selur/Desktop/suzie_qcif.y4m")
# making sure input color matrix is set as 470bg
clip = core.resize.Point(clip, matrix_in_s="470bg",range_s="full")
# making sure frame rate is set to 29.970
clip = core.std.AssumeFPS(clip=clip, fpsnum=30000, fpsden=1001)
# Setting color range to PC (full) range.
clip = core.std.SetFrameProp(clip=clip, prop="_ColorRange", intval=0)
# adjusting color space from YUV420P8 to RGB24 for vsLevels
clip = core.resize.Bicubic(clip=clip, format=vs.RGB24, matrix_in_s="470bg", range_s="full")
# creating a VSGAN instance
vsgan = VSGAN("cuda")
model = "J:/VapourSynth64Portable_VSGAN/vsgan_models/BSRGAN.pth" # setting model
vsgan.load_model(model) # loading model
clip = vsgan.run(clip=clip) # using vsgan
# adjusting output color from: RGB24 to YUV420P10 for x265Model (i420@8)
clip = core.resize.Bicubic(clip=clip, format=vs.YUV420P10, matrix_s="470bg", range_s="full")
clip.set_output()

Alles anzeigen

Hab das Ergebnis mal in mein GoogleDrive gepackt.

Da es sich bei BSRGAN um einen Bildupscaler und nicht um einen Videoupscaler handelt sieht man im Video wie erwartet ein Flimmern aber finde es schon sehr beeindruckend. (ja ist 'glatt' und das Flimmern kriegt man vermutlich auch irgendwie etwas reduziert.)

Habe heute den ganzen Tag mit VSGAN und den Modellen (https://upscale.wiki/wiki/Model_Database) rumgespielt.

Würde generell sagen, dass:

man mit VSGAN definitiv Bilder upscalen kann
einfache Cartoons&Co upscalen und säubern kann
es als Video-Upscaler nur bedingt geeignet ist.
ohne ordentlich GPU man nicht viel Spaß damit hat.
ich mir vorstellen kann, dass man damit gut Spieletexturen von alten Spielen aufmöbeln kann.
das ganze ML-Zeug definitiv Potential hat
der große Nachteil an der ganzen Sache ist, dass man um den Effekt eines dieser ML Modelle ändern will, ein neues Model anlernen muss. Es gibt nicht wie bei normalen Algorithmen und Funktionen Parameter an denen man drehen kann.

So, denke damit habe ich erst mal für die nächste Zeit genug von ML-Upscaling.

Cu Selur

FatFaster · 30. Mai 2021

Von 144p auf DVD Auflösung, nicht schlecht.

Also scheinen die comparison.pngs auf der upscale wiki schon realistische Ergebnisse zu zeigen. Manche sehen einfach zu gut aus

LigH · 30. Mai 2021

Sieht allerdings etwas nach dem Ergebnis von "Fractalius" aus, wenn man sich die Haare und Falten in der Hand näher anschaut: Viel zu optimal geglättet und verlängert.

Selur · 30. Mai 2021

Yup, wirkt etwas übereifrig. Hab gerade auch mal forceman von 352x288 auf 1444x1182 gewandelt, da sieht man auch jedes Fältchen etwas zu stark und die Bäume im Hintergrund verwirren das Model wohl etwas. (habe das Video auch im GoogleDrive abgelegt)

-> BSRGAN ist für Menschen&Co nice, aber für Bäume, Blumen, etc. sieht es grausig aus. (kennt das Modell nicht)

(husky mit BSRGAN)

Andere Modelle sehen da schon besser aus, aber sind i.d.R. auch nicht weit weg von NNEDI3.

(husky NNEDI3 (links) mit 4x_foolhardy_Remacri_ExtraSmoother (rechts) )

Cu Selur

FatFaster · 31. Mai 2021

Hast du mal DVD Auflösung auf HD versucht?

Selur · 31. Mai 2021

Nope.

Da die meisten der Modellei.d.R. x4 machent würde man danach nochmal down-sizen,...

nnedi3 vs. 4x-Universal-Upscaler-Detailed-155000-G

(BSGRAN ist für so etwas nicht zu gebrauchen)

Problem ist hat das das Ganze recht lahm ist und

imag hd

nnedi3 vs 4xJaypeg90

nnedi3 vs lollypop

Wenn jemand ein 15sec Sample bereitstellt kann ich mal die Tage durch BSGRAN&Co zu jagen,..

Sind halt leider nur Image-Upscaler die ESRGAN da hat, sprich da müsste man sich dann noch um das Flimmern was man schon beim Suzie Clip gesehen hat kümmern,...

Cu Selur

vodjara · 1. Juni 2021

Zitat von Selur

Hab mal den Suzie testclip und durch VSGAN mit dem BSRGAN model laufen lassen und so auf 70x576 gebracht.

Code

import vapoursynth as vs

core = vs.get_core()

# Loading VSGAN

from vsgan import VSGAN

# Loading C:\Users\Selur\Desktop\suzie_qcif.y4m using RawsSource

clip = core.raws.Source("C:/Users/Selur/Desktop/suzie_qcif.y4m")

# making sure input color matrix is set as 470bg

clip = core.resize.Point(clip, matrix_in_s="470bg",range_s="full")

# making sure frame rate is set to 29.970

clip = core.std.AssumeFPS(clip=clip, fpsnum=30000, fpsden=1001)

# Setting color range to PC (full) range.

clip = core.std.SetFrameProp(clip=clip, prop="_ColorRange", intval=0)

# adjusting color space from YUV420P8 to RGB24 for vsLevels

clip = core.resize.Bicubic(clip=clip, format=vs.RGB24, matrix_in_s="470bg", range_s="full")

# creating a VSGAN instance

vsgan = VSGAN("cuda")

model = "J:/VapourSynth64Portable_VSGAN/vsgan_models/BSRGAN.pth" # setting model

vsgan.load_model(model) # loading model

clip = vsgan.run(clip=clip) # using vsgan

# adjusting output color from: RGB24 to YUV420P10 for x265Model (i420@8)

clip = core.resize.Bicubic(clip=clip, format=vs.YUV420P10, matrix_s="470bg", range_s="full")

clip.set_output()

Alles anzeigen

Hab das Ergebnis mal in mein GoogleDrive gepackt.

Da es sich bei BSRGAN um einen Bildupscaler und nicht um einen Videoupscaler handelt sieht man im Video wie erwartet ein Flimmern aber finde es schon sehr beeindruckend. (ja ist 'glatt' und das Flimmern kriegt man vermutlich auch irgendwie etwas reduziert.)

Habe heute den ganzen Tag mit VSGAN und den Modellen (https://upscale.wiki/wiki/Model_Database) rumgespielt.

Würde generell sagen, dass:

man mit VSGAN definitiv Bilder upscalen kann

einfache Cartoons&Co upscalen und säubern kann

es als Video-Upscaler nur bedingt geeignet ist.

ohne ordentlich GPU man nicht viel Spaß damit hat.

ich mir vorstellen kann, dass man damit gut Spieletexturen von alten Spielen aufmöbeln kann.

das ganze ML-Zeug definitiv Potential hat

der große Nachteil an der ganzen Sache ist, dass man um den Effekt eines dieser ML Modelle ändern will, ein neues Model anlernen muss. Es gibt nicht wie bei normalen Algorithmen und Funktionen Parameter an denen man drehen kann.

So, denke damit habe ich erst mal für die nächste Zeit genug von ML-Upscaling.

Cu Selur

Alles anzeigen

Das ist ja echt schon kranker Sch...ß !

Selur · 8. Juni 2021

Für Animes is VSGAN + BSRGAN übrigens echt cool, siehe: https://forum.selur.net/Thread-2D-Cleaners-and-Rescale

Aber leider muss ich meist erst mal downscalen bevor ich bsrgan anwenden kann weil sonst die 8GB RAM meiner Grafikkarte nicht reichen.

FatFaster · 9. Juni 2021

Das Logo sieht da etwas komisch aus, aber der Rest echt scharf

Selur · 10. Juni 2021

Bei einfachen Cartoons würde man mit nem delogo filter und bsrgan ziemlich gut Ergebnise erhalten.

Cu Selur

LigH · 23. Juni 2021

Zitat von FatFaster

Sieht nach zuviel Arbeit aus. Ich hoffe einfach mal auf bessere GPU Preise xD

So langsam wird das realistisch, seit China gegen Miningfarmen vorgeht.

FatFaster · 23. Juni 2021

Evtl kommt auch ne größere Graka Gebraucht-Verkaufswelle, wenn Crypto so weiter sinken.

monarc99 · 3. Juli 2021

Im GameUpscale Reddit haben sie inzwischen auch die neueren Modelle entdeckt.

zb GFPGAN face restoration

https://preview.redd.it/q247j7…91bcffd5fbcaa6101187e977c

oder BSRGAN bei Call of Duty 1: https://www.nexusmods.com/callofduty/mods/1669/

https://preview.redd.it/tq587n…a77374311eded83935d09fd75

https://preview.redd.it/kcz8yp…0fa829ee4686fce0c213ccb6f

https://preview.redd.it/9mqtr2…64df4220c695532447d5a3146

Selur · 3. Juli 2021

Leider sind BSRGAN, GFP-GAN usw. nur sehr eingeschränkt für Videos nutzbar, da sie alles außer die Dinge für die sie trainiert sind recht unschön 'verzerren'.

Selur · 9. Juli 2021

Zitat

Evtl kommt auch ne größere Graka Gebraucht-Verkaufswelle, wenn Crypto so weiter sinken.

es besteht Hoffnung: https://www.heise.de/news/Chin…Spottpreisen-6133778.html

HQ-LQ · 9. Juli 2021

dann kauf mal n posten mit ~1000 karten... ich reserviere mir schonmal eine... XD

Selur · 9. Juli 2021

Naja, als Großhändler kann das schon interessant sein, für 300€ kaufen für 400€ verkaufen,.. auf jeden Fall bricht damit ein nicht gerade kleiner Teil weg und zumindest für 2022 kann man dann hoffen das die 4000er NVIDIA Karten eventuell normal zu kaufen sind.

Selur · 27. August 2021

Habe im ersten Beitrag mal BasicVSR (https://github.com/xinntao/BasicSR) https://github.com/HolyWu/vs-basicvsr hinzugefügt.

Hab nochmal Suzi auf 704x576 resized:

Model: REDS

Model: Vimeo-90K (BI)

Model: Vimeo-90K (BD)

Cu Selur

LigH · 27. August 2021

Die Suzi kriegt so langsam street credibility...

Teilen