Zwischenbildberechnung mit KI - Hat jemand CUDA5?

Ja, bei den ganzen ML tools ist das "model training" vermutlich was einiges ausmacht.

Da sehe ich dann die Chance für die kommerziellen Tools die mehr in das Trainieren investieren.

Cu Selur

Nebenbei: gibt jetzt FrameRateConverter auch für Vapoursynth.

Gibt eine weitere Implementierung von RIFE. Ka ob es schneller ist: https://github.com/HolyWu/vs-rife

Ahhh,...

def RIFE(clip: vs.VideoNode, model_ver: float=3.5, scale: float=1.0, device_type: str='cuda', device_index: int=0) -> vs.VideoNode:
 '''
 RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation
 In order to avoid artifacts at scene change, you should invoke `misc.SCDetect` on YUV or Gray format of the input beforehand so as to set frame properties.
 Parameters:
 clip: Clip to process. Only planar format with float sample type of 32 bit depth is supported.
 model_ver: Model version to use. Must be 3.1, 3.5, or 3.8.
 scale: Controls the process resolution for optical flow model. Try scale=0.5 for 4K video. Must be 0.25, 0.5, 1.0, 2.0, or 4.0.
 device_type: Device type on which the tensor is allocated. Must be 'cuda' or 'cpu'.
 device_index: Device ordinal for the device type.

-> mehr unterschiedliche scale-Werte, sprich sollte je nach dem einiges flotter sein.

Unangenehm ist halt die Abhängigkeit zu PyTorch was mal gerade 5.4 GB groß ist. (das ist auch das Problem an vs-ffdnet und vs-dpir)

Nicht so einfach das Ganze: https://github.com/HomeOfVapourSy…Vulkan/issues/6

Time Lens:

https://github.com/uzh-rpg/rpg_timelens

sieht interessant aus.

Cu Selur

Das sieht echt sauber aus. Hoffe es gibt bald einen VapourSynth-Filter davon

Wenn ich nicht völlig falsch liege, kostet das NN-Training in deren Cloud aber was?

tach auch !

1.) Ich warte darauf, dass sie Interlaced wiederentdecken

2.) 50 zu 100 fps glaube ich sieht man (vielleicht) noch.

Alles darüber doch nur noch in Zeitlupe. Da bringt es aber tolle Resultate.

Ansonsten halte ich das ganze für eher akademisch , weil kauf anwendbar. aka Abspielgeräte spielen das imho selten.

btw. FrameRateConverter unterstützt jetzt auch RIFE,...

https://github.com/mysteryx93/Fra…s/tag/v2.0-beta

wird öfter mal 'silent' aktualisiert.

vs-rife (torchpy version) hat jetzt keine Modelle mehr in den Parametern, erlaubt aber dafür einen Multiplikator (2+) anzugeben.

Scheint soweit gut zu gehen, aber die SceneChange threshold bei SCDetect sollte man aber wohl etwas runter setzen. (zumindest scheint es bei meinen Samples soweit)

Basiert jetzt auf https://github.com/hzwer/Practical-RIFE

Scheint flotter zu sein, aber mehr Duplikate zu verwenden.

-> Würde mich freuen falls sonst noch jemand seine Eindrücke damit schildert.

Cu Selur

Ps.: Interessant finde ich, dass bei Practical-RIFE noch ein paar Punkte in der To-do Liste:

Quote

• Multi-frame input of the model
• Frame interpolation at any time location (Done)
• Eliminate artifacts as much as possible
• Make the model applicable under any resolution input
• Provide models with lower calculation consumption

offen sind, so dass zu hoffen ist, dass da noch was passiert.

https://github.com/styler00dollar…IFE-ncnn-Vulkan ist ein Fork von https://github.com/HomeOfVapourSy…IFE-ncnn-Vulkan der neuere RIFE Modelle hinzufügt.

Cu Selur