Zwischenbildberechnung mit KI - Hat jemand CUDA5?

  • Zitat

    If this version contain any new bugs feel free to comment in here or PM me in Discord (GRisk)

    • So, like I said in the previous post, I gave a shot of downgrading pytorch to see if it fix some of the bugs contained in 0.39 and 0.40
    • I did give it a try to improve a little more the memory usage.
    • In split options, the X and Y axis was getting the values incorrectly, hopeful this is fixed now.
    • There is a new option under "Application Style" to save and load all the values on the app, so you don't need to keep putting the same values. If it work correctly, in the next version one of those presets can be selected by default.

    Änderungen hören sich jetzt nicht so spannend an, hört sich nicht so an also ob an der eigentlichen Interpolation oder den anderen Problemen die wir so genannt hatten geändert hat.


    Cu Selur

  • Naja, an der eigentlichen Interpolation konnte ich nichts aussetzen. Siehe hier:


    Aber klar müssen einige Speicherprobleme noch behoben werden.




    In der 0.42 soll folgendes kommen:

    Zitat

    My modifications to interpolate multiple frames at the same time are going well, i'm feeling confident it will be ready for 0.42.

  • Wollte nur nochmal anmerken, dass es wohl so ist, dass das Dain wirklich nur zwischen zwei Bildern interpoliert. Es nimmt und braucht keine frames mehr drumherum. Für beschleunigte Bewegungen ist das sicher nicht optimal weil es ja einfach das Objekt linear in die "Mitte" setzt aber ich glaube, das fällt bei den kurzen Zeitabständen nicht auf.

  • btw. für die User die DAIN-APP nutzen, auf der Patreon page des Projekts ist ein Mediafire Link (der vermutlich unbeabsichtigt) auch für nicht Patreon User sichtbar&nutzbar ist und unter dem man Version 0.43 runterladen kann.


    Zitat

    What is in 0.43?
    Batch rendering should be working correctly in this version. Various minor bugs fixed You can now select the model you want to use on "Beta" tab I uploaded my test models in this build, I did find that they tend to produce worse results than the default model (best.pth), but perhaps someone can find some user-case that they perform better. Because of the extra models, this build is larger
    What is wrong in 0.43?
    CLI is currently broken because of a few mistakes on my part. Should be fixed in the next few days. Mode 3 is currently not working because the changes to make batch work. Experimental is not working, in the next few weeks I will update the main algorithm to support the experimental behavior. There was a few reports of the app not working on the new 30X0 cards, will try to update a few libraries in the next build to see if fix it. Scene change seen to be ignoring all the batch interpolation if is detected as true.
    What about Multi-GPU?
    I gave a few tries to make Multi-GPU work, but developing it without having two GPU's to debug it proved to be to difficult, even with a few friends that could test the build for me. So for now this is paused while I work on other features on the app.

    Quelle: https://www.patreon.com/posts/dain-app-0-43-41897663



    Cu Selur

  • Cain ist etwas schlechter als dain, soll aber dafür schneller und weniger Speicher brauchen.

    Ja, ich habe Cain schon ausprobiert. Es ist wie du sagst, es ist viel schneller aber auch schlechter und soll bei schnellen Bewegungen mit "Blends" arbeiten.

    Ich warte, dass die RTX 3080 lieferbar ist, dann werde ich mich an Dain-App weiter versuchen. Aber zur Zeit ist Dain-App noch nicht richtig lauffähig für die neuen Nvidias.


    Falls jemand was längeres konvertieren will, mein Tool, womit man die hässlichen Szenenübergänge beseitigen kann, ist soweit fertig.

  • Vielleicht interessant: https://nmkd.itch.io/flowframes Unterstützt CAIN (Channel Attention Is All You Need for Video Frame Interpolation) und RIFE (Real-Time Intermediate Flow Estimation for Video Frame Interpolation), welche beide einiges flotter als DAIN seien sollten.

    cain&rife gibt's auch bei github

    https://github.com/nihui/cain-ncnn-vulkan

    https://github.com/nihui/rife-ncnn-vulkan



    Cu Selur

  • Ich habe gerade erfahren, dass auf dem YouTube-Kanal von UDCC (Unfiltered Dashcam Clips) das letzte Video mit RIFE auf 60 fps interpoliert wurde, wo die Einsender eine geringere Framerate eingeschickt hatten. Bei so vorhersehbaren Bewegungsmustern ist das sicher leicht erfolgreich.

  • - Dain-App ist ausgereizt und bei Version 1.0 stehen geblieben. Tot, weil sehr sehr langsam, braucht viel VRAM und von der Qualität auch nicht bahnbrechend.


    - RIFE integriert in der FlowFrames-App ist seit Herbst 2020 mit dabei und die aktuellen trainierten Modelle sind ganz gut. Braucht relativ wenig VRAM und ist schnell. Hat aber ähnlich wie DAIN große Probleme bei Mustern im Bild. Mit RIFE kann man einen ganzen HD-Film in ein paar Stunden mit Faktor 2x interpolieren. (Dain braucht selbst mit einer RTX 3090 noch Tage) RIFE hat fast die gleiche Qualität wie Dain, oft sogar besser, manchmal schlechter. Und ist es, wie gesagt, sehr viel schneller. Ich habe mein Szenen-Editor-Tool auch für FlowFrames angepasst. Somit kann man für einen ganzen Film in einer Stunde die Szenenübergänge editieren. Ich habe 4 Fluch der Karibik-Filme komplett interpoliert. Und da gab es pro Film ca. 3000 Szenenübergänge. Aber machbar...


    - CAIN ist ähnlich wie RIFE hat aber kein gutes aktuelles Model, weil es RIFE gibt, braucht man eigentlich kein Cain


    - FLAVR ist erst seit einer Woche veröffentlicht. Der Code ist auch schon in FlowFrames eingeflossen. Aber es ist ähnlich langsam wie DAIN und braucht auch viel VRAM. Der Code ist noch nicht ausgereift. Hat aber weniger Probleme mit Mustern. Dennoch noch nicht geeignet um lange Clips zu rendern.