x264 Streaming und Aufnahme

GelberDrache

Konnte jetzt die neuen Tipps nicht ausprobieren, schau LCS, gleich fängt das 5 Game bei einem best of 5 an xD

Was ich mir aber gerade gedacht habe, vielleicht ziehe ich es auch vom falschen Ende auf.
Vielleicht sollte ich eher mit dem Prset Very Fast arbeiten und schauen das ich die CPU Last reduziere indem ich einen Parameter nach dem anderen deaktiviere.
Hierbei wäre dann natürlich gut zu wissen welche Parameter viel CPU Leistung brauchen und welche eher weniger.

GelberDrache

Ach ja mir fällt gerade ein.
Momentan Teste ich die Einstellungen immer gleich am Spiel mit einer Aufnahme.
Dementsprechend kriege ich nicht genau das gleiche Videomaterial hin dadurch kann ich immer nur schauen ob die Makroblöcke irgendwo auftauchen.
Müsste ich nicht wenn ich eine Aufnahme mache, diese lossless speichere und dann durch MeGui schicke, zum Beispiel mit Ultrafast, genau die gleichen Ergebnisse bekommen, als wenn ich im Aufnahmeprogramm Ultrafast eingestellt habe?
Das würde das vergleichen nämlich deutlich vereinfachen xD

Aber wenn wir schon mal bei dem Thema sind...
Der Grund dafür das ich ein bereits fertig codierte Aufnahme haben wollte, war das ich mit x264 Aufnehmen wollte, qp=0
Da ich hier je nach Spiel teils deutlich Größenunterschiede, je nach Spiel, im vergleich zu UT Video oder MagicYUV hatte.
Zudem kommt noch das UT Video in OBS Studio nur über ffmpeg und nicht über die VFW-Schnittstelle integriert wurde, wodurch MagicYUV komplett weg fällt.
Das Problem war nur das wenn ich dann meine Aufnahme mit x264 und qp=0 neu codieren lassen wollte, halt so das man es hochladen kann...
Das Problem dann war nur das ich meine CPU nicht mehr zu 100% ausgelastet bekommen habe, bei allem über fast...
Hierbei hatte ich auch schon geschaut wodran es liegen könnte, Decoder, Avisynth, Resizer und und und...
Ich hatte dann sogar probiert über einen weiter MeGui Worker die CPU besser auszulasten, ging nicht...
Sie haben sich dann einfach die Geschwindigkeit geteilt.
Hier ist dann die frage wodran das liegen kann?

sneaker2

Zitat von GelberDrache

Müsste ich nicht wenn ich eine Aufnahme mache, diese lossless speichere und dann durch MeGui schicke, zum Beispiel mit Ultrafast, genau die gleichen Ergebnisse bekommen, als wenn ich im Aufnahmeprogramm Ultrafast eingestellt habe?

Ja. Vergleich aber zur Sicherheit die Parameter über MediaInfo. Könnte sein, daß OBS da im Hintergrund etwas andere Parameter als MeGUI wählt.

Zitat von GelberDrache

Das Problem dann war nur das ich meine CPU nicht mehr zu 100% ausgelastet bekommen habe, bei allem über fast...

"über fast" heißt medium bis placebo?

GelberDrache

Zitat von sneaker2

"über fast" heißt medium bis placebo?

Ne, damit war faster, usw... gemeint

Bzw. gerade am testen, nicht mal medium kriegt meine CPU komplett ausgelastet...

sneaker2

Ich kann das nicht nachvollziehen. Habe ein utvideo mit 2560x1440 Pixeln erstellt. Über lwlibavvideosource() geöffnet und einen Benchmark durchgeführt. Dann noch einen Benchmark mit Enkodierung einer einfachen Quelle über x264 --qp 0 --preset ultrafast. Beides lastete jeweils die CPU zu fast 100% aus. Das Dekodieren war etwas schneller als das Enkodieren, d.h. das sollte auch kein Flaschenhals sein. Allerdings habe ich derzeit nur einen Quad-Core ohne Hyper-Threading, d.h. meine Ergebnisse sind nicht 100% auf Deinen i7 übertragbar.

Kann es sein, daß Deine Festplatte an ihre Grenzen gerät? Kannst Du Dein Skript mal an x264 pipen aber an -o NUL ausleiten? Das ganze auch parallel (doppelt) - das wäre dann noch belastender für die Festplatte.

GelberDrache

Die Aufnahme würde ja dann bereits mit QP=0 und Ultrafast gemacht werden und damit wird dann MeGui gefüttert.
Zudem die Festplatte nicht der Flaschenhals sein wird, da ich schon mit verschiedenen Festplatten und SSD das probiert habe.
Also auch Aufnahme auf SSD und dann auf eine andere HDD geschrieben.

Zitat von sneaker2

Kannst Du Dein Skript mal an x264 pipen aber an -o NUL ausleiten? Das ganze auch parallel (doppelt) - das wäre dann noch belastender für die Festplatte.

Hier wüsste ich nicht genau was du meinst oder wie man das macht.
Zudem die Aufnahme eine Auflösung von 2048x1152 hat.

sneaker2

Eine andere Erklärung als das mit der Festplatte habe ich so nicht. Könnte sein, daß der 6C/12T nicht voll auslasten kann, was ich hier mit 4C/4T nicht testen kann. Aber das erklärt nicht unbedingt, warum das auch bei zwei Workern so bleibt.

GelberDrache

Gibt es eine Möglichkeit wo man so wenig wie nur irgendwie möglich an Flaschenhälse haben kann.
Das eigentlich nur noch decodiert und dann encodiert wird.
Also x264 QP=0 Aufnahme -> x264 CRF18 Encodiert

sneaker2

Nur Source-Filter im Skript und das dann Enkodieren?

Mach auch einen reinen Dekoding-Benchmark des Skripts (avsmeter oder avs2pipemod -bench). Haut MeGUI evtl. so etwas wie threads=1 in den Source-Filter? Dann könnte Dekoding ein Flaschenhals sein. Aber das erklärt immer noch nicht das Problem mit mehreren Workern.

monarc99

Zitat von sneaker2

Aber das erklärt immer noch nicht das Problem mit mehreren Workern.

Werden denn die Daten vom avs Script zum Encoder gepipet? Dürften dann ja kopiert werden (?) und könnten ein Flaschenhals sein.
Bei Auflösungen bis 1080p fällt das nicht ins Gewicht, aber bei 4K habe ich schon häufiger gelesen, dass es bei einigen, die das getestet haben, zu Performanceverlusten kommt.

Nicht unbedingt wahrscheinlich, könnte man aber mal mit purem ffmpeg testen:

z.B.

Code

ffmpeg -threads 0 -i input_datei.mkv -vcodec libx264 -preset medium -x264opts crf=18:direct=auto:aq-mode=3:force-cfr=1:b-adapt=2:rc-lookahead=60:stitchable=1 -map_metadata 0 -movflags faststart -threads 0 output_datei.mkv

GelberDrache

Zitat von monarc99

Nicht unbedingt wahrscheinlich, könnte man aber mal mit purem ffmpeg testen:

So unwahrscheinlich wie es war, war es tatsächlich Avisynth.
Rein über CMD.exe wird selbst bei Ultrafast die CPU zu 100% ausgelastet.
Jetzt wäre für mich die frage wodurch das sein könnte.
Wir nutzen halt ein Skript was über eine GUI erzeugt wird (Sagaras Scriptmaker).
Diese Gui ist dafür da um einfache Befehle wie, Auflösung, Fps, Resizer, Schnitt, usw für den Dau grafisch dazustellen, damit die auch Avisynth und MeGui nutzen können.
Das Problem mit der Auslastung der CPU hatten wir bisher hallt auch nur bei x264 Aufnahmen mit qp=0
Hängt das vielleicht damit zusammen das das Video über FFMS2 geladen wird?

sneaker2

Poste das Skript.

GelberDrache

Code

### SagaraS Scriptmaker - Version 6.1 ###




### Lade Plugins und setze die globalen Variablen ###
LoadPlugin("E:\SagaraS Scriptmaker\Plugins\FFMS2.dll")
Global breite = 2048
Global hoehe = 1152
Global AR = 0




### Lade Videoquellen ###
SetMTMode(3)
AVIload("D:\Aufnahme\Test\qp=0.mkv", 1, 0, 0, -0, -0, "Auto", "Igno.", 0, 0)




### Filter Verarbeitungszone ###




(IsYUY2() == true) ? ConvertToYV16(matrix = "Rec709", ChromaResample = "Spline36") : Last




### Funktion für Video-Laderoutine ###
Function AVIload (String file, int loading, int cl, int co, int cr, int cu, string pixtype, string afps, int fpsn, int fpsd) {
    pixtype2 = (pixtype == "YUY2") ? "YUY2" : (pixtype == "RGB24") ? "RGB24" : (pixtype == "Y8") ? "Y8" : (pixtype == "YV12") ? "YUV420P8" : (pixtype == "YV24") ? "YUV444P8" : pixtype
    (loading == 1) ? FFIndex(file) : nop()
    clip0 = (loading == 3) ? (pixtype == "Auto") ? LWLibavVideoSource(file) : LWLibavVideoSource(file, format = pixtype2) : (loading == 2) ? Import(file).KillAudio() : (loading == 1) ? (pixtype == "Auto") ? FFVideoSource(file, threads=1) : FFVideoSource(file, threads=1, colorspace=pixtype) : (pixtype == "Auto") ? AVISource(file, false).KillAudio() : AVISource(file, false, pixel_type=pixtype).KillAudio()
    clip1 = clip0.AutoFPS(afps, fpsn, fpsd).Cropping(cl, co, cr, cu)
    Return (clip1.width == breite && clip1.height == hoehe) ? clip1.ConvertToYV12(matrix = "Rec709", ChromaResample = "Spline36") :  Clip1.Resize()
}




Function AutoFPS (Clip clip0, string afps, int fpsn, int fpsd) {
    rate1 = (afps == "Auto") ? (Round(Float(clip0.framerate * 1000)) / 1000) / 2 : nop() 
    rate2 = (afps == "Auto") ? Round(clip0.framerate) / 2 : nop()
    rate = (afps == "Auto") ? (rate1 == rate2) ? 1 : 1001 : (afps == "Igno.") ? clip0.frameratedenominator : fpsd
    ratefaktor = (afps == "Auto") ? (rate == 1001) ? 1000 : 1 : nop()
    clip0 = (afps == "Auto") ? (rate == 1001) ? clip0.AssumeFPS(Round(clip0.Framerate) * 1000, rate) : clip0.AssumeFPS(round(clip0.framerate), rate) : (afps == "Igno.") ? clip0.AssumeFPS(clip0.frameratenumerator, rate) : clip0.AssumeFPS(fpsn, rate)
    Return clip0
}




Function Cropping (Clip clip0, int cl, int co, int cr, int cu) {
    clip0 = (clip0.IsRGB32() == True) ? clip0.ConvertToRGB24() : clip0
    Return (cl != 0 || co != 0 || cr != 0 || cu != 0) ? clip0.Crop(cl, co, cr, cu) : clip0
}




Function Resize (Clip clip1) {
    clip1 = (AR == 1) ? ((float(Clip1.height * breite) / clip1.width) / 2 == round((float(Clip1.height * breite) / clip1.width) / 2)) ? ((float(Clip1.width * hoehe) / clip1.height) / 2 == round((float(Clip1.width * hoehe) / clip1.height) / 2)) ? clip1 : clip1.ConvertToRGB24() : clip1.ConvertToRGB24() : clip1
    clip1 = (AR == 1) ? (((clip1.width * hoehe) / clip1.height > breite) ? Clip1.Spline36Resize(breite, ceil(float(Clip1.height * breite) / clip1.width)) : Clip1.Spline36Resize(ceil(float(clip1.width * hoehe) / clip1.height), hoehe)) : clip1.Spline36Resize(breite, hoehe).ConvertToYV12(matrix = "Rec709", ChromaResample = "Spline36")
    back = (AR == 1) ? (0 == 1) ? ImageReader("", 0, clip1.framecount - 1, clip1.framerate).ChangeFPS(clip1.frameratenumerator, clip1.frameratedenominator).Spline36Resize(breite, hoehe).ConvertToYV12(matrix = "Rec709", ChromaResample = "Spline36") : BlankClip(clip1, width = breite, height = hoehe, pixel_type = "YV12").KillAudio() : clip1
    Return (AR == 1) ? Overlay(back, clip1, (back.width - clip1.width) / 2, (back.height - clip1.height) / 2) : clip1
}

Alles anzeigen

sneaker2

Bei den Quellfiltern sehe ich zumindest schon mal threads=1. Resizen ist auch so ein Kandidat, wobei ich jetzt nicht weiß, ob das überhaupt genutzt wird. Dazu bräuchte man noch ein Sample oder zumindest MediaInfo-Log der Quelle.

Teste mal ein simples Skript:

Code

LWLibavVideoSource("D:\Aufnahme\Test\qp=0.mkv")

oder:

Code

ffvideosource("D:\Aufnahme\Test\qp=0.mkv")

GelberDrache

Code

General
Unique ID                                : 262998054794576611123329389955391072722 (0xC5DB953939D09E42EBB678566896A9D2)
Complete name                            : D:\Aufnahme\Test\qp=0.mkv
Format                                   : Matroska
Format version                           : Version 4 / Version 2
File size                                : 11.6 GiB
Duration                                 : 3 min 8 s
Overall bit rate                         : 531 Mb/s
Writing application                      : Lavf57.66.102
Writing library                          : Lavf57.66.102 / Lavf57.66.102
ErrorDetectionType                       : Per level 1




Video
ID                                       : 1
Format                                   : AVC
Format/Info                              : Advanced Video Codec
Format profile                           : High 4:4:4 Predictive@L5
Format settings, CABAC                   : No
Format settings, ReFrames                : 1 frame
Codec ID                                 : V_MPEG4/ISO/AVC
Duration                                 : 3 min 8 s
Width                                    : 2 048 pixels
Height                                   : 1 152 pixels
Display aspect ratio                     : 16:9
Frame rate mode                          : Constant
Frame rate                               : 50.000 FPS
Color space                              : YUV
Chroma subsampling                       : 4:2:0
Bit depth                                : 8 bits
Scan type                                : Progressive
Writing library                          : x264 core 148 r2762 90a61ec
Encoding settings                        : cabac=0 / ref=1 / deblock=0:0:0 / analyse=0:0 / me=dia / subme=0 / psy=0 / mixed_ref=0 / me_range=16 / chroma_me=1 / trellis=0 / 8x8dct=0 / cqm=0 / deadzone=21,11 / fast_pskip=0 / chroma_qp_offset=0 / threads=18 / lookahead_threads=3 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=0 / weightp=0 / keyint=100 / keyint_min=10 / scenecut=0 / intra_refresh=0 / rc=cqp / mbtree=0 / qp=0
Default                                  : Yes
Forced                                   : No
Color range                              : Limited
Color primaries                          : BT.709
Transfer characteristics                 : BT.709
Matrix coefficients                      : BT.709
DURATION                                 : 00:03:08.060000000

Alles anzeigen

sneaker2

Ok, Resizing sollte nicht stattfinden. Dann liegt es anscheinend nur am threads=1.

GelberDrache

Mit den einfachen Skripten läut es schon sehr gut, wobei hier ffvideosource zu 100% meine CPU auslastet und LWLibavVideoSource nur zu 90%.
[Wir haben auch schon gerade einmal geschaut, wenn man man Threads=1 raus nimmt, wird die CPU deutlich besser ausgelastet, 95%, dafür ist die Geschwindigkeit, also die fps langsamer.]
Ok SetMtMode (3) raus genommen, jetzt läuft es ordentlich xD

GelberDrache

Ich hab jetzt aber gerade mal ffmpeg und Avisynth / MeGui verglichen, was die Geschwindigkeit angeht.
ffmpeg: 195 fps
MeGui: 90

Klar hier ist der Unterschied das bei ffmpeg schon alleine mal nicht Avisynth genutzt wird.
Trotzdem ist der Unterschied nicht gerade zu Unterschätzen.
Sagaras meinte das man über ffmpeg mit einer pipeline auf den x264_10bit von MeGui zugreifen könnte, hier wäre dann die frage wie sowas gehen würde.
Zudem was für Möglichkeiten würde es bei ffmpeg zum Beispiel für Skalierung oder Schnitt geben, ohne das man Sachen wie Avisynth nutzen muss, nur mal aus Interesse.

sneaker2

[font='lucida console]ffmpeg -i "input.mkv" -f yuv4mpegpipe - | x264-10bit - --demuxer y4m --qp 0 -o "output.264"[/font]

https://trac.ffmpeg.org/wiki/Scaling%2…20with%20ffmpeg
https://trac.ffmpeg.org/wiki/Seeking

GelberDrache

Hat sich erledigt, mein Fehler wurde gefunden xD

Jetzt mitmachen!