Zwischenbildberechnung mit KI - Hat jemand CUDA5?

  • Ich versuche gerade ein paar Videos von 25 fps auf 50 fps aufzublasen. Dazu berechne ich mit der russischen Software SVP Smooth Project Zwischenbilder. (die Software habe ich mir extra gekauft) Doch die Frameinterpolation arbeitet genausso schlecht wie die in Fernsehern und Beamern eingebaute. Entweder es ruckelt unregelmässig oder es gibt böse Artefakte. Total unbrauchbar!

    Nun habe ich das hier gefunden. DainApp 0.4

    Externer Inhalt www.youtube.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
    Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.

    Das Tool hier: https://grisk.itch.io/dain-app

    Das ist ein Tool, dass durch KI die Zwischenbildberechnung durchführt. Es braucht dafür CUDA 5 von NVIDIA Grafikkarten.

    Es ist auch bestimmt sehr langsam und man muss sein Video in einzelne Bilder splitten. Aber trotzdem würde ich mal einen Versuch wagen.

    Kann mir jemand helfen und würde für mich ein paar Sekunden Video durchrechnen? (Jemand der ne CUDA 5 GK hat?)

    Wäre doch mal interessant zu wissen, wie gut diese Methode zur Zeit schon ist.

  • Hast Du keine NVIDIA Grafikkarte oder wie alt ist denn Deine Hardware?

    Sollten nicht so ziemlich alle NVIDIA Grafikkarten der letzten 6 Jahre oder so CUDA 5 können? (aktuell ist CUDA SDK bei 11; CUDA 5.0 wurde Oktober 2012 released)

    Cu Selur

    Ps.: Selbst wenn es um die 'Compute capability (version)' (siehe: https://en.wikipedia.org/wiki/CUDA#GPUs_supported) sollten alle nicht all zu alten Karten gehen,...

    PPs.: Dein Link verlinkt nicht auf https://grisk.itch.io/dain-app(für mich wird DAIN erst interessant, wenn ich es portable in Vapoursynth nutzen kann)

    Zumindest für Animes scheint (http://www.youtube.com/watch?v=r7IVm9FtFtQ) mir DAIN nicht so dolle.

  • Ne, das Tool braucht keine Einzelbilder,..

    Das Tool kann auch Videos verarbeiten und macht dann Folgendes (soweit ich das aktuell sehe):

    • es analysiert den Input mit ffmpeg
    • wandelt mit ffmpeg den Input in Einzelbilder
    • interpoliert die Zwischenbilder
    • wandelt die Bilder wieder in ein Video um

    Cu Selur

  • CPU Nutzung war beim Interpolieren so 25-30%.

    Laut Windows war bei der GPU:

    3D: 0%, Copy: 5%, Video Encode: 0%, Video Decode: 0%, Speichernutzung: 2,5-4,2GB (sowoohl beim dedizierten als auch beim normalen GPU-Speicher)

    Keine Ahnung warum die kein GPU Decoding nutzen,...

    Lief bei mir auf einer GeForce 1070 Ti.

    Die 319 Frames haben ca. 10 Minuten zum Interpolieren gebraucht.

    Hab bei den Einstellungen nur angegeben, dass auch eine audio version erstellt wird, was dazu geführt hat, dass zwei Dateien erzeugt wurden.

    Was ausgegeben wurde:

    Output habe ich in mein Google Drive hochgeladen.

    Cu Selur

  • Also ich sehe fast keine Artefakte oder Fehler ausser den krummen 49.9x fps, was zu Rucklern auf 50 Hz Displays führt, aber das lässt sich sicher noch beheben

    OK, den Szenenwechsel erkennt er nicht automatisch und baut ein Mischbild ein, das muss man noch hinkriegen...


    Hier mal das SVP Material

    https://www.dropbox.com/sh/5ythgot65b9…oXgW0WpEOa?dl=0

    da wabern die Kanten an den laufenden Personen nur so umher und die Königskrone erst....

  • Ja, beim Frameconverter war es bei mir so, dass er oft bei Objekten "blends" an die Kanten baut. Also statt einer wirklichen Weiterbewegung des Objekts sieht man da Geisterkanten und Ruckler.

    Das hat mir oft nicht gefallen. Da fand ich SVP in der Summe schon besser. Aber viele Szenen sehen dort auch unbrauchbar aus.

  • In DAIN gibt es eine Option "Don't interpolate scences changes" hab die mal angemacht:

    hier das Ergebnis.

    Cu Selur

  • Mach das.

    Hab das Sample auch mal mit FrameRateConverter, MVToolsFPSMod und SalFPS umgewandelt, DAIN sieht definitiv besser aus.

    Mache mir bei DAIN nur etwas sorgen um die Synchronität mit der krummen Framerate.

    Sieht aber auf jeden Fall vielversprechend aus. :)

    Cu Selur

  • Ich würde sowieso einzelne Frames ausgeben lassen und dann diese in Avisynth (Vapoursynth kann ich noch nicht) mit 50 pro Sekunde codieren.

    Ich habe bei mkv-Toolnix einfach aus dem MP4 ein MKV mit 50 fps draus gemacht. Das wurde sauber abgespielt. Wegen der Synchronität muss man natürlich mal was längeres codieren....

  • Am sinnigsten würde man aktuell:

    1. Clip mit Avisynth/Vapoursynth laden (+eventuell schon mal etwas Filtern; denoise, degrain, dehalo, deblock), kontrolliert (color range, matrix, luma scale) nach RGB32 wandeln und als PNG exportieren

    2. die Exportierten Bilder durch DAIN jagen

    3. die interpolierten Bilder wieder in Avisynth/Vapoursynth importieren und ins Zielformat bringen und mit dem Encoder der Wahl umwandeln

    Cu Selur

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!