4K UHD Denoising mit FFT3DGPU,FFT3DFilter,neo_fft3d (Performance,Bugs,VapourSynth-Umsetzung,...)

Zitat

Code

1. import ctypes
2. # Loading Support Files
3. Dllref = ctypes.windll.LoadLibrary("i:/Hybrid/64bit/vsfilters/Support/libfftw3f-3.dll")
4. Dllref = ctypes.windll.LoadLibrary("i:/Hybrid/64bit/Avisynth/avisynthPlugins/d3d9.dll")
5. # Load FFT3DGPU
6. core.avs.LoadPlugin(path="i:/Hybrid/64bit/Avisynth/avisynthPlugins/FFT3dGPU.dll")
7. # Use FFT3DGPU
8. clip = core.avs.fft3dGPU(clip)

Bei 8. gehören dann die Parameter in der selben schreibweise wie beim Avisynth Skript rein?

Und mal noch ne Verständnisfrage: Wird der Name der Funktion (fft3dgpu) bei 8. dadurch definiert, dass bei 6. der Name der DLL "FFT3dGPU.dll" ist? Oder könnte da genausogut clip = core.avs.HansWurst(clip) stehen, weil immer eine DLL geladen wird, dann verwendet wird, danach evtl. eine andere geladen wird und diese dann verwendet wird (wenn man mehrere AviSynth-Filter kombinieren würde)

Hat sich überschnitten...

Die Funktionsnamen werden durch die DLL erzeugt/verfügbar gemacht und sind damit identisch wie in AviSynth, oder?

(Dort heißt der aufruf ja auch fft3dgpu(...) )

Also die DLL an sich legt fest wie die Funktion heißt, nicht der Name der DLL.

Muss jetzt mal eben was essen, die Murmel arbeitet mit Hunger irgendwie auf Sparflamme...

Hab mal folgende RUN_FFT3DGPU_VS.BAT erstellt.

@echo off
set "vsPipeFolder=C:\Program Files\Hybrid\64bit\Vapoursynth"
set "x264Folder=C:\Program Files\Hybrid\64bit"
set "mp4BoxFolder=C:\Program Files\Hybrid\64bit"
set /p "fileName=filename without mp4 extension?"

"%vsPipeFolder%\vspipe.exe" "%cd%\fft3dgpu_4k.vpy" - -c y4m | "%x264Folder%\x264.exe" --crf 19.00 --profile high10 --level 5.2 --ref 3 --keyint 500 --min-keyint 0 --scenecut 40 --bframes 3 --b-bias 0 --b-pyramid normal --direct auto --b-adapt 2 --sync-lookahead 16 --cplxblur 20.0 --qcomp 0.60 --qblur 0.50 --mbtree --rc-lookahead 40 --ipratio 1.40 --pbratio 1.30 --chroma-qp-offset 0 --qpmin 0 --qpmax 69 --qpstep 4 --partitions i4x4,i8x8,p8x8,b8x8 --8x8dct --me hex --merange 16 --mvrange -1 --subme 7 --cabac --trellis 2 --psy-rd 1.00:0.00 --weightp 2 --aq-mode 2 --aq-strength 1.00 --vbv-maxrate 240000 --vbv-bufsize 720000 --nr 0 --deadzone-inter 21 --deadzone-intra 11 --cqm flat --threads 16 --sar 1:1 --deblock 0:0 --psnr --ssim --non-deterministic --range tv --colormatrix bt2020c --demuxer y4m  --input-range tv --fps 50/1 --output-csp i420 --output-depth 10 --output "%cd%\%fileName%.264" -

echo x264 done & pause

"%mp4BoxFolder%\MP4Box.exe" -add "%cd%\%fileName%.264"#video:fps=50:name="":lang="" -brand avc1 -itags tool="Hybrid 2022.04.30.1" -tmp "%cd%" -new "%cd%\%fileName%.mp4"

echo mp4box done & pause

Sie lädt folgendes VapourSynth-Skript RUN_FFT3DGPU_VS.VPY

# Imports
import vapoursynth as vs
# getting Vapoursynth core
import ctypes
# Loading Support Files
Dllref = ctypes.windll.LoadLibrary("C:/Program Files/Hybrid/64bit/vsfilters/Support/libfftw3f-3.dll")
Dllref = ctypes.windll.LoadLibrary("C:/Program Files/Hybrid/64bit/Avisynth/avisynthPlugins/d3d9.dll")
# getting Vapoursynth core
core = vs.core

# Loading Plugins
core.std.LoadPlugin(path="C:/Program Files/Hybrid/64bit/vsfilters/SourceFilter/LSmashSource/vslsmashsource.dll")
core.std.LoadPlugin(path="C:/Program Files/Hybrid/64bit/vsfilters/SourceFilter/FFMS2/ffms2.dll")
core.avs.LoadPlugin(path="C:/Program Files/Hybrid/64bit/Avisynth/avisynthPlugins/LoadDll.dll")
core.avs.LoadPlugin(path="C:/Program Files/Hybrid/64bit/Avisynth/avisynthPlugins/FFT3dGPU.dll")

# source: 'C:\TMP\FFT3DGPU FFT3DFILTER NEO_FFT3D\4K\4k-Testclip.mp4'
# current color space: YUV420P8, bit depth: 8, resolution: 3840x2160, fps: 50, color matrix: 2020ncl, yuv luminance scale: limited, scanorder: progressive
# Loading C:\TMP\FFT3DGPU FFT3DFILTER NEO_FFT3D\4K\4k-Testclip.mp4 using LibavSMASHSource
clip = core.lsmas.LibavSMASHSource(source="C:/TMP/FFT3DGPU FFT3DFILTER NEO_FFT3D/4K/4k-Testclip.mp4")
# Setting color matrix to 2020ncl.
clip = core.std.SetFrameProps(clip, _Matrix=9)
clip = clip if not core.text.FrameProps(clip,'_Transfer') else core.std.SetFrameProps(clip, _Transfer=9)
clip = clip if not core.text.FrameProps(clip,'_Primaries') else core.std.SetFrameProps(clip, _Primaries=9)

# Setting color range to TV (limited) range.
clip = core.std.SetFrameProp(clip=clip, prop="_ColorRange", intval=1)
# making sure frame rate is set to 50
clip = core.std.AssumeFPS(clip=clip, fpsnum=50, fpsden=1)

clip = core.avs.fft3dGPU(bw=64,bh=64,plane=4,mode=2,bordersize=0,precision=1)

# adjusting output color from: YUV420P8 to YUV420P10 for x264Model
clip = core.resize.Bicubic(clip=clip, format=vs.YUV420P10, range_s="limited")

# set output frame rate to 50.000fps
clip = core.std.AssumeFPS(clip=clip, fpsnum=50, fpsden=1)
# Output
clip.set_output()

Pfade in den Skripten müssen angepasst werden.

Im Ordner der .bat Datei muss sich eine "4k-Testclip.mp4" befinden.

Bricht mit folgender Meldung ab:

Script evaluation failed:
Python exception: fft3dGPU: argument c1 is required

Traceback (most recent call last):
  File "src\cython\vapoursynth.pyx", line 2886, in vapoursynth._vpy_evaluate
  File "src\cython\vapoursynth.pyx", line 2887, in vapoursynth._vpy_evaluate
  File "C:\TMP\FFT3DGPU FFT3DFILTER NEO_FFT3D\4K\RUN_FFT3DGPU_VS.VPY", line 31, in <module>
    clip = core.avs.fft3dGPU(bw=64,bh=64,plane=4,mode=2,bordersize=0,precision=1)
  File "src\cython\vapoursynth.pyx", line 2632, in vapoursynth.Function.__call__
vapoursynth.Error: fft3dGPU: argument c1 is required

y4m [error]: bad sequence header magic
x264 [error]: could not open input file `-'
x264 done

Wenn ich das argument clip=clip hinzufüge wird dieses abgelehnt. Das Argument C1 fehlt, was auch immer das ist, noch nicht rausgefunden...

(Bei den Dateien im Anhang musste ich die Endung .txt hinzufügen, damit das Forum es akzeptiert hat)

Ich glaub mit diesem Aufruf scheint's zu laufen:

Zitat

clip = core.avs.fft3dGPU(clip, bw=64,bh=64,plane=4,mode=2,bordersize=0,precision=1)

Weiß der Geier was der Argument C1 Fehler sollte.

Irgendwie bin ich mir aber nicht ganz sicher, ob da jetzt wirklich was filtert...

Die reinen VapourSynth Filter haben am Beginn des Aufrufs immer clip=clip,... Keine Ahnung warum's jetzt nur mit clip,... losgelaufen ist...

1.)

Ich sammle gerade einige 4K Benchmarks die fft3dgpu bei AviSynth und VapourSynth jeweils mit LSmash und ffindex vergleichen.

Was sich bis jetzt abzeichnet, ist dass fft3dgpu mit VapourSynth tendenziell je nach Anzahl der MT-threads, mode, bw/bh und input file 7-12% schneller ist.

Ich will den Vergleich vernünftig machen, weswegen ich immer erst teste mit wie vielen MT-Threads jeweils bei AviSynth bzw. VapourSynth der höchste Speed erreicht wird.

Es scheint so zu sein, dass:

A) fft3dgpu Von mehr als 1-3 MT-threads kaum profitiert. Bei AviSynth gibt's dann sogar teils deutliche Geschwindigkeitseinbußen. Bei VapourSynth sind bei mehr Threads die Geschwindigkeitseinbußen nur geringfügig oder nicht vorhanden

B) tendenziell VapourSynth mit 1-2 MT-threads mehr als AviSynth die höchste Geschwindigkeit erreicht.

Ob man LSmash oder ffindex als source Filter verwendet macht i.d.R. wohl nur einen marginalen Unterschied, weswegen ich die jetzt nicht mehr weiter untereinander vergleichen werde.

2.)

Zum Thema Bildfehler bei bestimmten Konstellationen hauptsächlich im Mode 2: Diese verschwinden leider auch bei der Nutzung von VapourSynth nicht

Selur Wenn du Neo FFT3dFilter in AviSynth nachrüsten würdest (vielleicht ist's auch schon passiert), könnte ich auch ein paar vergleichende Benchmarks zwischen den beiden Filtern machen.

Da es leichte Unterschiede in der Performance zwischen AviSynth und VapourSynth gibt, möchte ich ungern fft3dgpu in AviSynth + Neo FFT3DFilter in VapourSynth vergleichen.

Das auch noch einzeln mit Skripten zu machen artet in viel Zeitaufwand auf (oder ich muss erst aufwändigere Skripte basteln).

In Hybrid kann ich einfach mal 10 verschiedene settings in die joblist packen und die logfiles auswerten.

Bei 4K wird sich da ziemlich sicher ein großer Unterschied ausmachen lassen und bei fhd auch ein deutlicher...

Zitat von Selur

Okay, das war zu erwarten, da sich die Arbeitsweise der Bibliothek ja nicht ändert, wenn sie von Vapoursynth anstatt Avisynth aufgerufen wird.

Cu Selur

Nö, da war das nur bei QTGMC implementiert, oder du hast vergessen mir nochmal nen neueren Link zu schicken. Der "Neo" Haken fehlt bei mir beim AviSynth fft3dfilter.