Zwischenbildberechnung mit KI - Hat jemand CUDA5?

Matt Kirby · July 11, 2020 at 5:00 AM

Ich versuche gerade ein paar Videos von 25 fps auf 50 fps aufzublasen. Dazu berechne ich mit der russischen Software SVP Smooth Project Zwischenbilder. (die Software habe ich mir extra gekauft) Doch die Frameinterpolation arbeitet genausso schlecht wie die in Fernsehern und Beamern eingebaute. Entweder es ruckelt unregelmässig oder es gibt böse Artefakte. Total unbrauchbar!

Nun habe ich das hier gefunden. DainApp 0.4

External Content www.youtube.com

Content embedded from external sources will not be displayed without your consent.

Through the activation of external content, you agree that personal data may be transferred to third party platforms. We have provided more information on this in our privacy policy.

Das Tool hier: https://grisk.itch.io/dain-app

Das ist ein Tool, dass durch KI die Zwischenbildberechnung durchführt. Es braucht dafür CUDA 5 von NVIDIA Grafikkarten.

Es ist auch bestimmt sehr langsam und man muss sein Video in einzelne Bilder splitten. Aber trotzdem würde ich mal einen Versuch wagen.

Kann mir jemand helfen und würde für mich ein paar Sekunden Video durchrechnen? (Jemand der ne CUDA 5 GK hat?)

Wäre doch mal interessant zu wissen, wie gut diese Methode zur Zeit schon ist.

Selur · July 11, 2020 at 8:11 AM

Hast Du keine NVIDIA Grafikkarte oder wie alt ist denn Deine Hardware?

Sollten nicht so ziemlich alle NVIDIA Grafikkarten der letzten 6 Jahre oder so CUDA 5 können? (aktuell ist CUDA SDK bei 11; CUDA 5.0 wurde Oktober 2012 released)

Cu Selur

Ps.: Selbst wenn es um die 'Compute capability (version)' (siehe: https://en.wikipedia.org/wiki/CUDA#GPUs_supported) sollten alle nicht all zu alten Karten gehen,...

PPs.: Dein Link verlinkt nicht auf https://grisk.itch.io/dain-app(für mich wird DAIN erst interessant, wenn ich es portable in Vapoursynth nutzen kann)

Zumindest für Animes scheint (http://www.youtube.com/watch?v=r7IVm9FtFtQ) mir DAIN nicht so dolle.

Matt Kirby · July 11, 2020 at 10:22 AM

OK, Link ist korrigiert.

Mein GK ist die 10 Jahre alte: GeForce GTX 460 mit CUDA 2.1

Selur · July 11, 2020 at 12:07 PM

Kann das bei mir mal Installieren und auf nem Sample von Dir laufen lassen.

Matt Kirby · July 11, 2020 at 12:39 PM

Das wäre cool. Ich hätte da ein SD (720,576, 25fps progressive) 10 Sekunden Stück

Brauchst nur zu sagen in welcher Form du es willst,

das Tool braucht ja Einzelbilder, aber die kannst du sicher selber aus einem Video exportieren, oder?

Selur · July 11, 2020 at 12:54 PM

Ne, das Tool braucht keine Einzelbilder,..

Das Tool kann auch Videos verarbeiten und macht dann Folgendes (soweit ich das aktuell sehe):

es analysiert den Input mit ffmpeg
wandelt mit ffmpeg den Input in Einzelbilder
interpoliert die Zwischenbilder
wandelt die Bilder wieder in ein Video um

Cu Selur

Matt Kirby · July 11, 2020 at 3:36 PM

https://www.dropbox.com/sh/371b6eubsdo…7lP2Ncya1a?dl=0

Selur · July 11, 2020 at 5:17 PM

CPU Nutzung war beim Interpolieren so 25-30%.

Laut Windows war bei der GPU:

3D: 0%, Copy: 5%, Video Encode: 0%, Video Decode: 0%, Speichernutzung: 2,5-4,2GB (sowoohl beim dedizierten als auch beim normalen GPU-Speicher)

Keine Ahnung warum die kein GPU Decoding nutzen,...

Lief bei mir auf einer GeForce 1070 Ti.

Die 319 Frames haben ca. 10 Minuten zum Interpolieren gebraucht.

Hab bei den Einstellungen nur angegeben, dass auch eine audio version erstellt wird, was dazu geführt hat, dass zwei Dateien erzeugt wurden.

Was ausgegeben wurde:

Code

['C:/Users/Selur/Desktop/KITest1.mkv']
Input FPS: 25.0
E:/Output
Main Folder: E:/Output/KITest1/
Conf. Method: 0
The testing model weight is: ./model_weights/best.pth
Starting PNG frames extraction!
Finished PNG frames extraction!
Starting Interpolation!
100%|███████████████████▉| 318/319 [09:47<00:01, 1.85s/it, file=0000000318.png]
Ending Interpolation!
Now creating the video!
Original FPS: 25.0
Total frames Original: 319
Total frames interpolated: 637
Final FPS: 49.92163009404389
Interpolation Folder: E:/Output/KITest1/interpolated_frames/
Output Video: E:/Output/KITest1/output_videos/49fps_KITest1.mp4
Creating audio version
Video finished!
Your render is complete.
Check out the output folder for the result.

Display More

Output habe ich in mein Google Drive hochgeladen.

Cu Selur

Matt Kirby · July 11, 2020 at 6:10 PM

Vielen Dank!

Das Ergebnis sieht auf den ersten Blick viel besser aus als das SVP Material. Sitze gerade am Notebook. Werde das aber noch am TV sichten und dann nochmal hier berichten.

Matt Kirby · July 11, 2020 at 7:11 PM

Also ich sehe fast keine Artefakte oder Fehler ausser den krummen 49.9x fps, was zu Rucklern auf 50 Hz Displays führt, aber das lässt sich sicher noch beheben

OK, den Szenenwechsel erkennt er nicht automatisch und baut ein Mischbild ein, das muss man noch hinkriegen...

Hier mal das SVP Material

https://www.dropbox.com/sh/5ythgot65b9…oXgW0WpEOa?dl=0

da wabern die Kanten an den laufenden Personen nur so umher und die Königskrone erst....

Selur · July 11, 2020 at 8:06 PM

Haste auch mal FrameRateConverter angetestet?

Matt Kirby · July 11, 2020 at 8:09 PM

Ja, beim Frameconverter war es bei mir so, dass er oft bei Objekten "blends" an die Kanten baut. Also statt einer wirklichen Weiterbewegung des Objekts sieht man da Geisterkanten und Ruckler.

Das hat mir oft nicht gefallen. Da fand ich SVP in der Summe schon besser. Aber viele Szenen sehen dort auch unbrauchbar aus.

Selur · July 11, 2020 at 8:32 PM

In DAIN gibt es eine Option "Don't interpolate scences changes" hab die mal angemacht:

Code

['C:/Users/Selur/Desktop/KITest1.mkv']
Input FPS: 25.0
E:/Output
Main Folder: E:/Output/KITest1/
Conf. Method: 0
The testing model weight is: ./model_weights/best.pth
Starting PNG frames extraction!
Finished PNG frames extraction!
Starting Interpolation!
17%|███▍ | 53/319 [01:53<08:33, 1.93s/it, file=0000000052.png]52 Jumping intepolation
100%|███████████████████▉| 318/319 [10:28<00:01, 1.98s/it, file=0000000318.png]
Ending Interpolation!
Now creating the video!
Original FPS: 25.0
Total frames Original: 319
Total frames interpolated: 636
Final FPS: 49.843260188087775
Interpolation Folder: E:/Output/KITest1/interpolated_frames/
Output Video: E:/Output/KITest1/output_videos/49fps_KITest1.mp4
Video finished!
Your render is complete.
Check out the output folder for the result.

Display More

hier das Ergebnis.

Cu Selur

Matt Kirby · July 11, 2020 at 8:49 PM

Also ich finds geil!

Hier nochmal das Ergebnis wenn ich mit FrameRateConverter ohne irgendwelche Parameter in Avisynth encode. Ich finde, der König ruckelt, wenn er an der Fensterfront vorbei geht... und viele Geisterkanten.

https://www.dropbox.com/sh/rnkvnumy1mc…wORbLaYN1a?dl=0

Selur · July 11, 2020 at 8:58 PM

Wenn die mal ne Vapoursynth Integration machen wird es interessant ansonsten ist mir das mit den zwischengespeicherten Bildern ein Dorn im Auge.

Matt Kirby · July 11, 2020 at 9:06 PM

Ich frage den Programmierer mal wieviel man dafür spenden muss

Selur · July 11, 2020 at 9:42 PM

Mach das.

Hab das Sample auch mal mit FrameRateConverter, MVToolsFPSMod und SalFPS umgewandelt, DAIN sieht definitiv besser aus.

Mache mir bei DAIN nur etwas sorgen um die Synchronität mit der krummen Framerate.

Sieht aber auf jeden Fall vielversprechend aus.

Cu Selur

Matt Kirby · July 11, 2020 at 9:48 PM

Ich würde sowieso einzelne Frames ausgeben lassen und dann diese in Avisynth (Vapoursynth kann ich noch nicht) mit 50 pro Sekunde codieren.

Ich habe bei mkv-Toolnix einfach aus dem MP4 ein MKV mit 50 fps draus gemacht. Das wurde sauber abgespielt. Wegen der Synchronität muss man natürlich mal was längeres codieren....

Selur · July 11, 2020 at 10:32 PM

Am sinnigsten würde man aktuell:

1. Clip mit Avisynth/Vapoursynth laden (+eventuell schon mal etwas Filtern; denoise, degrain, dehalo, deblock), kontrolliert (color range, matrix, luma scale) nach RGB32 wandeln und als PNG exportieren

2. die Exportierten Bilder durch DAIN jagen

3. die interpolierten Bilder wieder in Avisynth/Vapoursynth importieren und ins Zielformat bringen und mit dem Encoder der Wahl umwandeln

Cu Selur

Matt Kirby · July 11, 2020 at 10:37 PM

Ja, so schwebte mir das auch vor.

Participate now!