Mein Programm hat schon Gestalt angenommen:
![](https://gleitz.info/images/avatars/98/677-98c4be04abcec98d5e6b73580e5f1da5cb525386.jpg)
Zwischenbildberechnung mit KI - Hat jemand CUDA5?
-
-
Sieht aus wie der Neffe von Rumburak
-
Das ist er selber, Rumburak persönlich. 10 Jahre später in der Fortsetzung
-
Version 0.41 wurde für die Öffentlichkeit freigeschaltet.
https://www.patreon.com/DAINAPP
(nach unten scrollen)
-
Zitat
If this version contain any new bugs feel free to comment in here or PM me in Discord (GRisk)
- So, like I said in the previous post, I gave a shot of downgrading pytorch to see if it fix some of the bugs contained in 0.39 and 0.40
- I did give it a try to improve a little more the memory usage.
- In split options, the X and Y axis was getting the values incorrectly, hopeful this is fixed now.
- There is a new option under "Application Style" to save and load all the values on the app, so you don't need to keep putting the same values. If it work correctly, in the next version one of those presets can be selected by default.
Änderungen hören sich jetzt nicht so spannend an, hört sich nicht so an also ob an der eigentlichen Interpolation oder den anderen Problemen die wir so genannt hatten geändert hat.
Cu Selur
-
Naja, an der eigentlichen Interpolation konnte ich nichts aussetzen. Siehe hier:
ZitatEr arbeitet fast schon korrekt mit Eigenheiten:
Das erste KI-Video: hat 637 frames was quasi 319 +318 Zwischenbilder entspricht.
Das passt auch, habe das Bild für Bild verglichen. Weil das letzte Bild keinen Nachfolger hat, kann er auch kein 638. erstellen.
Darum hat er bei der selben Zeitlänge (12,76 sek) ein Frame weniger und darum kommt er auf 49.92 fps. Wenn man die Frames einfach mit 50 fps codiert fehlt ein Zwischenbild (nämlich das was nach dem letzten käme) aber darauf kann man verzichten.
Das zweite Video hat den Szenenübergang-erkenner drinnen. Das Dain berechnet deswegen zwischen den beiden Szenen auch kein Zwischenbild.
Das Video hat also noch ein Frame weniger als das erste Video. 636 Bilder.
Und bei gleicher Zeitlänge (12,76 sek) und 636 Bildern kommt man auf 49,84 fps. Auch diese Bilder könnte man einfach auf 50 fps patchen und es gibt auch keine Ruckler oder sowas.
Aber klar müssen einige Speicherprobleme noch behoben werden.
In der 0.42 soll folgendes kommen:
ZitatMy modifications to interpolate multiple frames at the same time are going well, i'm feeling confident it will be ready for 0.42.
-
Wollte nur nochmal anmerken, dass es wohl so ist, dass das Dain wirklich nur zwischen zwei Bildern interpoliert. Es nimmt und braucht keine frames mehr drumherum. Für beschleunigte Bewegungen ist das sicher nicht optimal weil es ja einfach das Objekt linear in die "Mitte" setzt aber ich glaube, das fällt bei den kurzen Zeitabständen nicht auf.
-
btw. für die User die DAIN-APP nutzen, auf der Patreon page des Projekts ist ein Mediafire Link (der vermutlich unbeabsichtigt) auch für nicht Patreon User sichtbar&nutzbar ist und unter dem man Version 0.43 runterladen kann.
ZitatWhat is in 0.43?
Batch rendering should be working correctly in this version. Various minor bugs fixed You can now select the model you want to use on "Beta" tab I uploaded my test models in this build, I did find that they tend to produce worse results than the default model (best.pth), but perhaps someone can find some user-case that they perform better. Because of the extra models, this build is larger
What is wrong in 0.43?
CLI is currently broken because of a few mistakes on my part. Should be fixed in the next few days. Mode 3 is currently not working because the changes to make batch work. Experimental is not working, in the next few weeks I will update the main algorithm to support the experimental behavior. There was a few reports of the app not working on the new 30X0 cards, will try to update a few libraries in the next build to see if fix it. Scene change seen to be ignoring all the batch interpolation if is detected as true.
What about Multi-GPU?
I gave a few tries to make Multi-GPU work, but developing it without having two GPU's to debug it proved to be to difficult, even with a few friends that could test the build for me. So for now this is paused while I work on other features on the app.Quelle: https://www.patreon.com/posts/dain-app-0-43-41897663
Cu Selur
-
Habt ihr eigentlich diese schon ausprobiert?
https://github.com/nihui/dain-ncnn-vulkan
https://github.com/nihui/cain-ncnn-vulkan
https://github.com/Mar2ck/DAIN-Vulkan-GUI
Cain ist etwas schlechter als dain, soll aber dafür schneller und weniger Speicher brauchen.
-
Ich nicht, ich werde da auch erst testen wenn die als Vapoursynthfilter verfügbar sind, dass mit den temporären Zwischenbildern ist einfach nichts für mich.
Cu Selur
-
Cain ist etwas schlechter als dain, soll aber dafür schneller und weniger Speicher brauchen.
Ja, ich habe Cain schon ausprobiert. Es ist wie du sagst, es ist viel schneller aber auch schlechter und soll bei schnellen Bewegungen mit "Blends" arbeiten.
Ich warte, dass die RTX 3080 lieferbar ist, dann werde ich mich an Dain-App weiter versuchen. Aber zur Zeit ist Dain-App noch nicht richtig lauffähig für die neuen Nvidias.
Falls jemand was längeres konvertieren will, mein Tool, womit man die hässlichen Szenenübergänge beseitigen kann, ist soweit fertig.
-
Ich warte, dass die RTX 3080 lieferbar ist, dann werde ich mich an Dain-App weiter versuchen. Aber zur Zeit ist Dain-App noch nicht richtig lauffähig für die neuen Nvidias.
Bald kauft keiner mehr Nvidia-Grafikkarten wegen der Grafikfähigkeiten
- meinen auch andere.
-
Ich kauf NVIDIA schon seit Jahren vor allem:
1. weil der ihre Treiber, zumindest bei mir, seltener Probleme machen als die von AMD.
2. wegen des VPU-Chips (Video En-/Decoding).
vielleicht kommt demnächst noch die Leistung bei neuronalen Netzen dazu.
-
Vielleicht interessant: https://nmkd.itch.io/flowframes Unterstützt CAIN (Channel Attention Is All You Need for Video Frame Interpolation) und RIFE (Real-Time Intermediate Flow Estimation for Video Frame Interpolation), welche beide einiges flotter als DAIN seien sollten.
cain&rife gibt's auch bei github
https://github.com/nihui/cain-ncnn-vulkan
https://github.com/nihui/rife-ncnn-vulkan
Cu Selur
-
Ich habe gerade erfahren, dass auf dem YouTube-Kanal von UDCC (Unfiltered Dashcam Clips) das letzte Video mit RIFE auf 60 fps interpoliert wurde, wo die Einsender eine geringere Framerate eingeschickt hatten. Bei so vorhersehbaren Bewegungsmustern ist das sicher leicht erfolgreich.
-
Gerade noch über ein anderes neues Projekt gestolpert: https://github.com/tarun005/FLAVR (wird auch in flowframes unterstützt)
Hoffe ja für die ein oder andere Methode schreibt jemand Vapoursynth support.
Cu Selur
-
- Dain-App ist ausgereizt und bei Version 1.0 stehen geblieben. Tot, weil sehr sehr langsam, braucht viel VRAM und von der Qualität auch nicht bahnbrechend.
- RIFE integriert in der FlowFrames-App ist seit Herbst 2020 mit dabei und die aktuellen trainierten Modelle sind ganz gut. Braucht relativ wenig VRAM und ist schnell. Hat aber ähnlich wie DAIN große Probleme bei Mustern im Bild. Mit RIFE kann man einen ganzen HD-Film in ein paar Stunden mit Faktor 2x interpolieren. (Dain braucht selbst mit einer RTX 3090 noch Tage) RIFE hat fast die gleiche Qualität wie Dain, oft sogar besser, manchmal schlechter. Und ist es, wie gesagt, sehr viel schneller. Ich habe mein Szenen-Editor-Tool auch für FlowFrames angepasst. Somit kann man für einen ganzen Film in einer Stunde die Szenenübergänge editieren. Ich habe 4 Fluch der Karibik-Filme komplett interpoliert. Und da gab es pro Film ca. 3000 Szenenübergänge. Aber machbar...
- CAIN ist ähnlich wie RIFE hat aber kein gutes aktuelles Model, weil es RIFE gibt, braucht man eigentlich kein Cain
- FLAVR ist erst seit einer Woche veröffentlicht. Der Code ist auch schon in FlowFrames eingeflossen. Aber es ist ähnlich langsam wie DAIN und braucht auch viel VRAM. Der Code ist noch nicht ausgereift. Hat aber weniger Probleme mit Mustern. Dennoch noch nicht geeignet um lange Clips zu rendern.
-
Danke für die Info
-
Ja, mittlerweile habe ich einen neuen PC mit RTX Grafikkarte und habe die letzten Monate das Thema eifrig verfolgt. (in den passenden Discord Channels)
-
Bin mit meiner alten GeForce GTX 1070 Ti auch immer wieder am Überlegen mir ne RTX Karte zu holen, dann schau ich auf die Preise für die Geforce RTX 3060 Ti und einen Wasserkühler, schau dann wie lange die Wartezeiten für die Teile sind und denke mir dann: Okay, die alte 1070ti tut es noch.
-
Jetzt mitmachen!
Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!