Der x265-Encoder entwickelt sich...

LigH

Ich habe gerade versucht, jemandem das im Detail zu erklären, wie ich das mit MSYS für Windows mache, und bei VideoHelp eine ausführliche Anleitung geschrieben. Davon will er jetzt ein Video aufgezeichnet haben...

Ich denke mal, da kannst du ein paar Tipps herausziehen. Kleiner Fallstrick war hier, dass du mit dem ersten "clone" das Repository in das Unterverzeichnis ./x265 bekommst und sich die relevanten Dateien darin befinden. Du müsstest für die folgenden Updates also entweder da hineinwechseln oder (wenn du in deinem HOME bleiben willst) bei jedem hg-Befehl noch eine cwd-Option mit angeben. Also z.B.:

~$ hg clone https://bitbucket.org/multicoreware/x265 ("tip"-Revision erstmals herunterladen)
~$ hg update --cwd x265 -r f548abe8eae8 (das sollte hoffentlich Version 1.8+221 basierend auf dem Revisions-Hash holen)

Hab ich allerdings selber noch nicht so konkret getestet. "-r 1.8" funktioniert mit Tag, aber es wäre nicht vorteilhaft, exakt diese Revision zu holen (besser eine mit "merge with stable branch", da sind Änderungen aus beiden Zweigen der Entwicklung zusammengefasst).

Massaguana

Also das ganze läuft immerhin ohne Fehler ab, nur kommt dabei die Version "HEVC encoder version 1.9+2-f548abe8eae8" raus...

Mir stellt sich die Frage wo du "f548abe8eae8" her hast...

LigH

Nanu ... den Hash habe ich von den Builds, die ich in diesem Beitrag auf VideoHelp veröffentlicht hatte. Die Patch-Hashes kann man auch in der Mercurial Workbench einsehen (eine GUI für die Repository-Verwaltung, zumindest für Windows als Explorer-Erweiterung, aus dem TortoiseHg-Projekt; ob auch für MacOS X verfügbar, weiß ich nicht genau, vielleicht was ähnliches).

Möglicherweise wurde später ein Patch vor diesem noch mit dem Tag "1.9" versehen, so dass nachträglich erst v1.8+221 zu v1.9+2 wurde.

Hier mal noch ein paar Alternativen:

1.8+201-769081eb5f4c
1.8+205-d94f6c2b45f8
1.8+212-792f6ead9c50
1.9+3-548a45bbf223

Massaguana

Okay, hier dann einmal die ersten Ergebnisse... hoffe das ist so wie du das gebrauchen kannst... Info. Ich füge die Ergebnisse nach und nach Hinzu

HEVC encoder version 1.8+212-792f6ead9c50 --pools +,+

Code

Mac-Pro:~ Massaguana$ /Applications/Hybrid.app/Contents/MacOS/ffmpeg -y -loglevel fatal -threads 8 -r 24000/1001 -analyzeduration 100M -probesize 100M -i "/-={ Temp }=-/00301.split.2.m2ts" -map 0:0 -an -sn -vsync 0 -r 24000/1001 -pix_fmt yuv420p -f rawvideo - | /-\=\{\ Temp\ \}\=-/x265-1.8+212-792f6ead9c50 --preset slower --pmode --pme --input - --input-res 1920x1080 --fps 24000/1001 --no-open-gop --colormatrix bt709 --pools +,+ --output "/-={ Temp }=-/x265_slower12,12.265"yuv  [info]: 1920x1080 fps 24000/1001 i420p8 unknown frame countraw  [info]: output file: /-={ Temp }=-/x265_slower12,12.265x265 [info]: HEVC encoder version 1.8+212-792f6ead9c50x265 [info]: build info [Mac OS X][clang 7.0.2][64 bit] 8bitx265 [info]: using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2x265 [warning]: Limit reference options 2 and 3 are not supported with pmode. Disabling limit referencex265 [info]: Main profile, Level-4 (Main tier)x265 [info]: Thread pool created using 24 threadsx265 [info]: frame threads / pool features       : 5 / wpp(17 rows)+pmode+pme x265 [info]: Coding QT: max CU size, min CU size : 64 / 8x265 [info]: Residual QT: max TU size, max depth : 32 / 2 inter / 2 intrax265 [info]: ME / range / subpel / merge         : star / 57 / 3 / 3x265 [info]: Keyframe min / max / scenecut       : 23 / 250 / 40x265 [info]: Lookahead / bframes / badapt        : 30 / 8 / 2x265 [info]: b-pyramid / weightp / weightb       : 1 / 1 / 1x265 [info]: References / ref-limit  cu / depth  : 4 / 0 / 0x265 [info]: AQ: mode / str / qg-size / cu-tree  : 1 / 1.0 / 32 / 1x265 [info]: Rate Control / qCompress            : CRF-28.0 / 0.60x265 [info]: tools: rect amp limit-modes rd=6 psy-rd=2.00 rdoq=2 psy-rdoq=1.00x265 [info]: tools: signhide tmvp b-intra strong-intra-smoothing lslices=4x265 [info]: tools: deblock saox265 [info]: frame I:     10, Avg QP:27.39  kb/s: 4584.41                       x265 [info]: frame P:    267, Avg QP:30.73  kb/s: 1842.89 x265 [info]: frame B:   1136, Avg QP:34.66  kb/s: 425.50  x265 [info]: Weighted P-Frames: Y:3.0% UV:3.0%x265 [info]: Weighted B-Frames: Y:1.8% UV:1.6%x265 [info]: consecutive B-frames: 4.7% 1.1% 7.6% 26.4% 17.0% 25.3% 7.9% 7.9% 2.2% encoded 1413 frames in 896.48s (1.58 fps), 722.76 kb/s, Avg QP:33.87Mac-Pro:~ Massaguana$

HEVC encoder version 1.8+212-792f6ead9c50 --pools +,+ --limit-modes

Code

Mac-Pro:~ Massaguana$ /Applications/Hybrid.app/Contents/MacOS/ffmpeg -y -loglevel fatal -threads 8 -r 24000/1001 -analyzeduration 100M -probesize 100M -i "/-={ Temp }=-/00301.split.2.m2ts" -map 0:0 -an -sn -vsync 0 -r 24000/1001 -pix_fmt yuv420p -f rawvideo - | /-\=\{\ Temp\ \}\=-/x265-1.8+212-792f6ead9c50 --preset slower --pmode --pme --input - --input-res 1920x1080 --fps 24000/1001 --no-open-gop --colormatrix bt709 --pools +,+ --limit-modes --output "/-={ Temp }=-/x265_slower12,12.265"yuv  [info]: 1920x1080 fps 24000/1001 i420p8 unknown frame countraw  [info]: output file: /-={ Temp }=-/x265_slower12,12.265x265 [info]: HEVC encoder version 1.8+212-792f6ead9c50x265 [info]: build info [Mac OS X][clang 7.0.2][64 bit] 8bitx265 [info]: using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2x265 [warning]: Limit reference options 2 and 3 are not supported with pmode. Disabling limit referencex265 [info]: Main profile, Level-4 (Main tier)x265 [info]: Thread pool created using 24 threadsx265 [info]: frame threads / pool features       : 5 / wpp(17 rows)+pmode+pme x265 [info]: Coding QT: max CU size, min CU size : 64 / 8x265 [info]: Residual QT: max TU size, max depth : 32 / 2 inter / 2 intrax265 [info]: ME / range / subpel / merge         : star / 57 / 3 / 3x265 [info]: Keyframe min / max / scenecut       : 23 / 250 / 40x265 [info]: Lookahead / bframes / badapt        : 30 / 8 / 2x265 [info]: b-pyramid / weightp / weightb       : 1 / 1 / 1x265 [info]: References / ref-limit  cu / depth  : 4 / 0 / 0x265 [info]: AQ: mode / str / qg-size / cu-tree  : 1 / 1.0 / 32 / 1x265 [info]: Rate Control / qCompress            : CRF-28.0 / 0.60x265 [info]: tools: rect amp limit-modes rd=6 psy-rd=2.00 rdoq=2 psy-rdoq=1.00x265 [info]: tools: signhide tmvp b-intra strong-intra-smoothing lslices=4x265 [info]: tools: deblock saox265 [info]: frame I:     10, Avg QP:27.39  kb/s: 4584.41                       x265 [info]: frame P:    267, Avg QP:30.73  kb/s: 1842.89 x265 [info]: frame B:   1136, Avg QP:34.66  kb/s: 425.50  x265 [info]: Weighted P-Frames: Y:3.0% UV:3.0%x265 [info]: Weighted B-Frames: Y:1.8% UV:1.6%x265 [info]: consecutive B-frames: 4.7% 1.1% 7.6% 26.4% 17.0% 25.3% 7.9% 7.9% 2.2% encoded 1413 frames in 887.12s (1.59 fps), 722.76 kb/s, Avg QP:33.87Mac-Pro:~ Massaguana$

HEVC encoder version 1.8+212-792f6ead9c50 --pools 4,4

Code

Mac-Pro:~ Massaguana$ /Applications/Hybrid.app/Contents/MacOS/ffmpeg -y -loglevel fatal -threads 8 -r 24000/1001 -analyzeduration 100M -probesize 100M -i "/-={ Temp }=-/00301.split.2.m2ts" -map 0:0 -an -sn -vsync 0 -r 24000/1001 -pix_fmt yuv420p -f rawvideo - | /-\=\{\ Temp\ \}\=-/x265-1.8+212-792f6ead9c50 --preset slower --pmode --pme --input - --input-res 1920x1080 --fps 24000/1001 --no-open-gop --colormatrix bt709 --pools 4,4 --output "/-={ Temp }=-/x265_slower12,12.265"yuv  [info]: 1920x1080 fps 24000/1001 i420p8 unknown frame countraw  [info]: output file: /-={ Temp }=-/x265_slower12,12.265x265 [info]: HEVC encoder version 1.8+212-792f6ead9c50x265 [info]: build info [Mac OS X][clang 7.0.2][64 bit] 8bitx265 [info]: using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2x265 [warning]: Limit reference options 2 and 3 are not supported with pmode. Disabling limit referencex265 [info]: Main profile, Level-4 (Main tier)x265 [info]: Thread pool created using 4 threadsx265 [info]: frame threads / pool features       : 5 / wpp(17 rows)+pmode+pme x265 [info]: Coding QT: max CU size, min CU size : 64 / 8x265 [info]: Residual QT: max TU size, max depth : 32 / 2 inter / 2 intrax265 [info]: ME / range / subpel / merge         : star / 57 / 3 / 3x265 [info]: Keyframe min / max / scenecut       : 23 / 250 / 40x265 [info]: Lookahead / bframes / badapt        : 30 / 8 / 2x265 [info]: b-pyramid / weightp / weightb       : 1 / 1 / 1x265 [info]: References / ref-limit  cu / depth  : 4 / 0 / 0x265 [info]: AQ: mode / str / qg-size / cu-tree  : 1 / 1.0 / 32 / 1x265 [info]: Rate Control / qCompress            : CRF-28.0 / 0.60x265 [info]: tools: rect amp limit-modes rd=6 psy-rd=2.00 rdoq=2 psy-rdoq=1.00x265 [info]: tools: signhide tmvp b-intra strong-intra-smoothing lslices=4x265 [info]: tools: deblock saox265 [info]: frame I:     10, Avg QP:27.39  kb/s: 4584.41                       x265 [info]: frame P:    267, Avg QP:30.73  kb/s: 1842.89 x265 [info]: frame B:   1136, Avg QP:34.66  kb/s: 425.50  x265 [info]: Weighted P-Frames: Y:3.0% UV:3.0%x265 [info]: Weighted B-Frames: Y:1.8% UV:1.6%x265 [info]: consecutive B-frames: 4.7% 1.1% 7.6% 26.4% 17.0% 25.3% 7.9% 7.9% 2.2% encoded 1413 frames in 2050.27s (0.69 fps), 722.76 kb/s, Avg QP:33.87Mac-Pro:~ Massaguana$

HEVC encoder version 1.9+9-8e093e85b9ab --pools +,+

Code

Mac-Pro:~ Massaguana$ /Applications/Hybrid.app/Contents/MacOS/ffmpeg -y -loglevel fatal -threads 8 -r 24000/1001 -analyzeduration 100M -probesize 100M -i "/-={ Temp }=-/00301.split.2.m2ts" -map 0:0 -an -sn -vsync 0 -r 24000/1001 -pix_fmt yuv420p -f rawvideo - | /-\=\{\ Temp\ \}\=-/x265-1.9+9-8e093e85b9ab --preset slower --pmode --pme --input - --input-res 1920x1080 --fps 24000/1001 --no-open-gop --colormatrix bt709 --pools +,+ --output "/-={ Temp }=-/x265_slower12,12.265"yuv  [info]: 1920x1080 fps 24000/1001 i420p8 unknown frame countraw  [info]: output file: /-={ Temp }=-/x265_slower12,12.265x265 [info]: HEVC encoder version 1.9+9-8e093e85b9abx265 [info]: build info [Mac OS X][clang 7.0.2][64 bit] 8bitx265 [info]: using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2x265 [warning]: Limit reference options 2 and 3 are not supported with pmode. Disabling limit referencex265 [info]: Main profile, Level-4 (Main tier)x265 [info]: Thread pool created using 24 threadsx265 [info]: frame threads / pool features       : 5 / wpp(17 rows)+pmode+pme x265 [info]: Coding QT: max CU size, min CU size : 64 / 8x265 [info]: Residual QT: max TU size, max depth : 32 / 2 inter / 2 intrax265 [info]: ME / range / subpel / merge         : star / 57 / 3 / 3x265 [info]: Keyframe min / max / scenecut       : 23 / 250 / 40x265 [info]: Lookahead / bframes / badapt        : 30 / 8 / 2x265 [info]: b-pyramid / weightp / weightb       : 1 / 1 / 1x265 [info]: References / ref-limit  cu / depth  : 4 / 0 / 0x265 [info]: AQ: mode / str / qg-size / cu-tree  : 1 / 1.0 / 32 / 1x265 [info]: Rate Control / qCompress            : CRF-28.0 / 0.60x265 [info]: tools: rect amp limit-modes rd=6 psy-rd=2.00 rdoq=2 psy-rdoq=1.00x265 [info]: tools: signhide tmvp b-intra strong-intra-smoothing lslices=4x265 [info]: tools: deblock saox265 [info]: frame I:     10, Avg QP:27.39  kb/s: 4584.41                       x265 [info]: frame P:    267, Avg QP:30.73  kb/s: 1842.89 x265 [info]: frame B:   1136, Avg QP:34.66  kb/s: 425.50  x265 [info]: Weighted P-Frames: Y:3.0% UV:3.0%x265 [info]: Weighted B-Frames: Y:1.8% UV:1.6%x265 [info]: consecutive B-frames: 4.7% 1.1% 7.6% 26.4% 17.0% 25.3% 7.9% 7.9% 2.2% encoded 1413 frames in 876.74s (1.61 fps), 722.76 kb/s, Avg QP:33.87Mac-Pro:~ Massaguana$

HEVC encoder version 1.9+9-8e093e85b9ab --pools +,+ --limit-modes

Code

Mac-Pro:~ Massaguana$ /Applications/Hybrid.app/Contents/MacOS/ffmpeg -y -loglevel fatal -threads 8 -r 24000/1001 -analyzeduration 100M -probesize 100M -i "/-={ Temp }=-/00301.split.2.m2ts" -map 0:0 -an -sn -vsync 0 -r 24000/1001 -pix_fmt yuv420p -f rawvideo - | /-\=\{\ Temp\ \}\=-/x265-1.9+9-8e093e85b9ab --preset slower --pmode --pme --input - --input-res 1920x1080 --fps 24000/1001 --no-open-gop --colormatrix bt709 --pools +,+ --limit-modes --output "/-={ Temp }=-/x265_slower12,12.265"yuv  [info]: 1920x1080 fps 24000/1001 i420p8 unknown frame countraw  [info]: output file: /-={ Temp }=-/x265_slower12,12.265x265 [info]: HEVC encoder version 1.9+9-8e093e85b9abx265 [info]: build info [Mac OS X][clang 7.0.2][64 bit] 8bitx265 [info]: using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2x265 [warning]: Limit reference options 2 and 3 are not supported with pmode. Disabling limit referencex265 [info]: Main profile, Level-4 (Main tier)x265 [info]: Thread pool created using 24 threadsx265 [info]: frame threads / pool features       : 5 / wpp(17 rows)+pmode+pme x265 [info]: Coding QT: max CU size, min CU size : 64 / 8x265 [info]: Residual QT: max TU size, max depth : 32 / 2 inter / 2 intrax265 [info]: ME / range / subpel / merge         : star / 57 / 3 / 3x265 [info]: Keyframe min / max / scenecut       : 23 / 250 / 40x265 [info]: Lookahead / bframes / badapt        : 30 / 8 / 2x265 [info]: b-pyramid / weightp / weightb       : 1 / 1 / 1x265 [info]: References / ref-limit  cu / depth  : 4 / 0 / 0x265 [info]: AQ: mode / str / qg-size / cu-tree  : 1 / 1.0 / 32 / 1x265 [info]: Rate Control / qCompress            : CRF-28.0 / 0.60x265 [info]: tools: rect amp limit-modes rd=6 psy-rd=2.00 rdoq=2 psy-rdoq=1.00x265 [info]: tools: signhide tmvp b-intra strong-intra-smoothing lslices=4x265 [info]: tools: deblock saox265 [info]: frame I:     10, Avg QP:27.39  kb/s: 4584.41                       x265 [info]: frame P:    267, Avg QP:30.73  kb/s: 1842.89 x265 [info]: frame B:   1136, Avg QP:34.66  kb/s: 425.50  x265 [info]: Weighted P-Frames: Y:3.0% UV:3.0%x265 [info]: Weighted B-Frames: Y:1.8% UV:1.6%x265 [info]: consecutive B-frames: 4.7% 1.1% 7.6% 26.4% 17.0% 25.3% 7.9% 7.9% 2.2% encoded 1413 frames in 884.21s (1.60 fps), 722.76 kb/s, Avg QP:33.87Mac-Pro:~ Massaguana$

HEVC encoder version 1.9+9-8e093e85b9ab --pools 4,4

Code

Mac-Pro:~ Massaguana$ /Applications/Hybrid.app/Contents/MacOS/ffmpeg -y -loglevel fatal -threads 8 -r 24000/1001 -analyzeduration 100M -probesize 100M -i "/-={ Temp }=-/00301.split.2.m2ts" -map 0:0 -an -sn -vsync 0 -r 24000/1001 -pix_fmt yuv420p -f rawvideo - | /-\=\{\ Temp\ \}\=-/x265-1.9+9-8e093e85b9ab --preset slower --pmode --pme --input - --input-res 1920x1080 --fps 24000/1001 --no-open-gop --colormatrix bt709 --pools 4,4 --output "/-={ Temp }=-/x265_slower12,12.265"
yuv  [info]: 1920x1080 fps 24000/1001 i420p8 unknown frame count
raw  [info]: output file: /-={ Temp }=-/x265_slower12,12.265
x265 [info]: HEVC encoder version 1.9+9-8e093e85b9ab
x265 [info]: build info [Mac OS X][clang 7.0.2][64 bit] 8bit
x265 [info]: using cpu capabilities: MMX2 SSE2Fast SSSE3 SSE4.2
x265 [warning]: Limit reference options 2 and 3 are not supported with pmode. Disabling limit reference
x265 [info]: Main profile, Level-4 (Main tier)
x265 [info]: Thread pool created using 4 threads
x265 [info]: frame threads / pool features       : 5 / wpp(17 rows)+pmode+pme 
x265 [info]: Coding QT: max CU size, min CU size : 64 / 8
x265 [info]: Residual QT: max TU size, max depth : 32 / 2 inter / 2 intra
x265 [info]: ME / range / subpel / merge         : star / 57 / 3 / 3
x265 [info]: Keyframe min / max / scenecut       : 23 / 250 / 40
x265 [info]: Lookahead / bframes / badapt        : 30 / 8 / 2
x265 [info]: b-pyramid / weightp / weightb       : 1 / 1 / 1
x265 [info]: References / ref-limit  cu / depth  : 4 / 0 / 0
x265 [info]: AQ: mode / str / qg-size / cu-tree  : 1 / 1.0 / 32 / 1
x265 [info]: Rate Control / qCompress            : CRF-28.0 / 0.60
x265 [info]: tools: rect amp limit-modes rd=6 psy-rd=2.00 rdoq=2 psy-rdoq=1.00
x265 [info]: tools: signhide tmvp b-intra strong-intra-smoothing lslices=4
x265 [info]: tools: deblock sao
x265 [info]: frame I:     10, Avg QP:27.39  kb/s: 4584.41                       
x265 [info]: frame P:    267, Avg QP:30.73  kb/s: 1842.89 
x265 [info]: frame B:   1136, Avg QP:34.66  kb/s: 425.50  
x265 [info]: Weighted P-Frames: Y:3.0% UV:3.0%
x265 [info]: Weighted B-Frames: Y:1.8% UV:1.6%
x265 [info]: consecutive B-frames: 4.7% 1.1% 7.6% 26.4% 17.0% 25.3% 7.9% 7.9% 2.2% 


encoded 1413 frames in 2045.17s (0.69 fps), 722.76 kb/s, Avg QP:33.87
Mac-Pro:~ Massaguana$

Alles anzeigen

Also ein großen Unterschied scheint es nicht zu geben... was sagst du LigH?

LigH

Du hast da eventuell zu viele Optionen drin, die miteinander unverträglich sind...

Code

x265 [warning]: Limit reference options 2 and 3 are not supported with pmode. Disabling limit reference

Ist aber auch nicht so wirklich der Punkt hier. Es könnte sein, dass deine v1.8+212 schon zu nah an der v1.9 dran ist, um da noch Unterschiede zu bemerken. Das kam leider nicht so exakt raus im Beitrag im englischen doom9-Forum, wo die Ergebnisse eigentlich interessieren. Möglicherweise vergleichen die da eher die v1.8+2 mit dem aktuellen Stand.

Ich müsste wohl erst noch einmal im Commit-Log recherchieren, ab welcher Revision da die wesentlichen Unterschiede im Threading waren, dann müsste eine der Vergleichsversionen noch davor liegen.

Bei so vielen Kernen scheint der Einfluss von --limit-modes dann auch vergleichsweise niedrig zu sein. Da weiß ich aber auch nicht mehr auswendig, in welchen Fällen man da am ehesten Beschleunigung erwarten müsste. Wenn das eher für große Bildflächen gilt, und du testest mit kleinen, wäre das auch wieder nicht so aussagekräftig. Na, schau mal, vielleicht liest du im doom9-Forum noch was aus dem Beitrag.

Massaguana

Im Englischen Forum lese ich kaum, das geht über meine Sprachliches Fähigkeiten hinaus...

X265 ist für selbst auch recht uninteressant das es keine gescheiten Player gibt die nicht irgendwelche mucken machen...

Selur

@Massuguana: sind Deine x265 Versionen auch mit NUMA support kompiliert? (soweit ich mich entsinne muss man für den unter Mac noch irgendwas includen)

Massaguana

Tja, das weiß ich leider nicht... habe das wie immer gebaut

LigH

Anscheinend hat sich auch was in dem Verhalten geändert, ob man bei Multi-Socket-Systemen überhaupt die Pools definiert oder nicht. Bei v1.8 war das Standardverhalten wohl noch, dass ohne Pools-Parameter das gleiche Verhalten wie "--pools +[,+[...]]" (also unbeschränkte Pools für alle Sockel) galt; in v1.9 könnte nun die explizite Angabe erforderlich sein (ansonsten wohl analog "--pools +[,-[...]]", also nur ein einzelner Pool). Wenn das Testen so komplex wird, weiß ich nicht, ob du da noch einfach mithalten kannst, oder ob man es dann doch Entwicklern mit mehr Erfahrung überlassen muss.

Selur

"modify the condition for enabling 2pass in CRF mode" -> 2pass crf? Weiß dazu jemand etwas genaueres?

Selur

Massaguana: Wenn der NUMA support bei bauen unter Mac nicht dabei ist, siehst Du:

Code

Could NOT find NUMA (missing:  NUMA_ROOT_DIR NUMA_INCLUDE_DIR NUMA_LIBRARY)

wenn Du multilibs.sh aufrufst.

sneaker2

Zitat von Selur

"modify the condition for enabling 2pass in CRF mode" -> 2pass crf? Weiß dazu jemand etwas genaueres?

Vermutlich (habe es nicht überprüft) multi-pass crf ohne vbv:
http://forum.doom9.org/showthread.php?p=1755707#post1755707
http://forum.doom9.org/showthread.php?p=1756072#post1756072

LigH

Bisher war es zwingend notwendig, VBV-Parameter anzugeben (v.a. vbvMaxBitrate), wenn man CRF in mehreren Durchläufen verwenden wollte. Das ergäbe dann eine Art "CRF mit max. Bitrate". Allerdings habe ich selber bisher noch nicht so genau getestet, ob dafür wirklich mehrere einzelne Durchläufe stattfinden können. Bisher schien es für mich so, dass die Begrenzung auch schon bei einem Durchlauf greift, in Form einer "überarbeiteten GOP". Bei so komplexen Nebenbedingungen muss man da sicher noch mal mehr unterschiedliche Voraussetzungen testen.

sneaker2

Ja, so ganz verstanden habe ich es ebenfalls nicht. Ich meine auch mich an Posts erinnern zu können, laut denen es schon bei einem einzigen Pass (rein --crf ohne --pass) genutzt werden sollte. Später dann diese Posts, die es anders darstellen.

http://forum.doom9.org/showthread.php?p=1747612#post1747612

Theoretisch sollte sich sowas ja mit niedrigen crf + niedrigem vbv leicht provozieren lassen.

Selur

Naja, werde wohl noch etwas warten bevor ich das in Hybrid unterstützte,...

LigH

Nach den Änderungen, die ich aus den letzten Patches (default: 822782933427; stable: 63308f7658c3 – beide praktisch identisch) herauslese, ist es wohl in Zukunft lediglich nötig, im ersten Durchlauf die VBV-Parameter anzugeben, um im zweiten Durchlauf dann auch CRF als Modus verwenden zu können; die entsprechenden Grenzwerte werden dann wohl aus der Statistikdatei gelesen. Dadurch unterscheidet sich nach meinem Verständnis das Verhalten des Encoders im zweiten Durchlauf zwischen VBR- und CRF-Modus nur geringfügig:

VBR = berechne den CRF unter Beachtung des VBV, der die Zielbitrate erreicht
CRF = verwende den CRF laut Parameter, begrenzt durch den VBV

__

P.S.: Hashes sind eine tolle Idee, um Dinge zu identifizieren. Aber wenn man mehrere Hash-Methoden parallel benutzt, sind deren Hashwerte untereinander schlecht vergleichbar...

may24

Hm, was genau soll eigentlich ein multi-pass CRF bringen ? Variable Komplexität ?

Sehe ich das richtig das "--pools" nur für Mehr-Prozessor Systeme relevant ist ?

LigH

Multi-pass CRF: Nachteil des CRF war bisher v.a., dass man damit die Maximalbitrate nur eher unzuverlässig begrenzen konnte, ursprünglich hieß es: Entweder freie Steuerung der Quantisierung oder Begrenzung durch Zielbitrate und VBV. Jetzt soll diese Änderung es ermöglichen, dem Encoder via CRF so weit freie Hand zu lassen, bis VBV-Grenzwerte erreicht werden, die dies einschränken; also "optimale Qualität ohne Zielgröße, aber unter technischen Nebenbedingungen".

NUMA-Pools: Englisch bezeichnet man das sogar noch deutlicher als "multi socket systems", also tatsächlich mehrere physisch getrennte Prozessoren auf eigenen Sockeln. Unter der Annahme, dass Multithreading unter den Kernen eines Prozessors schneller läuft als zwischen zwei baulich getrennten Prozessoren, kann man so das Multithreading effizienter verteilen, da bestimmte Teilberechnungen stärker von anderen Zwischenergebnissen abhängen (die versucht man im gleichen Pool unterzubringen) als andere, deren Daten nur selten mit anderen Threads ausgetauscht werden müssen (die können auch in anderen Pools ablaufen).
__

Hier ein aktuelles Build mit den geänderten Bedingungen für VBV-beschränktes CRF in zwei Durchläufen:

x265 1.9+15-425b583f25db (GCC 5.3.0)
__

Ich hab mal einen kurzen Test laufen lassen (beide CLP identisch bis auf --pass {1|2} und sintel_trailer_1080.crf06-2p{1|2}.csv). Im zweiten Durchlauf tut sich tatsächlich was...

Code

x265.exe sintel_trailer_1080.y4m -o sintel_trailer_1080.crf06-2p.hevc --pass 2 --crf 6 --preset fast --vbv-bufsize 1835 --vbv-maxrate 9800 --limit-refs 3 --limit-modes
--psnr --ssim --log-level info --csv-log-level 2 --csv sintel_trailer_1080.crf06-2p2.csv
y4m  [info]: 1920x1080 fps 24/1 i420p8 frames 0 - 1252 of 1253
raw  [info]: output file: sintel_trailer_1080.crf06-2p.hevc
x265 [info]: HEVC encoder version 1.9+15-425b583f25db
x265 [info]: build info [Windows][GCC 5.3.0][64 bit] 8bit+10bit+12bit
x265 [info]: using cpu capabilities: MMX2 SSE2Fast LZCNT
x265 [warning]: --psnr used with psy on: results will be invalid!
x265 [warning]: --tune psnr should be used if attempting to benchmark psnr!
x265 [info]: Main profile, Level-4 (Main tier)
x265 [info]: Thread pool created using 4 threads
x265 [info]: frame threads / pool features       : 2 / wpp(17 rows)
x265 [info]: Coding QT: max CU size, min CU size : 64 / 8
x265 [info]: Residual QT: max TU size, max depth : 32 / 1 inter / 1 intra
x265 [info]: ME / range / subpel / merge         : hex / 57 / 2 / 2
x265 [info]: Keyframe min / max / scenecut       : 24 / 250 / 40
x265 [info]: Lookahead / bframes / badapt        : 15 / 4 / 0
x265 [info]: b-pyramid / weightp / weightb       : 1 / 1 / 0
x265 [info]: References / ref-limit  cu / depth  : 3 / 1 / 1
x265 [info]: AQ: mode / str / qg-size / cu-tree  : 1 / 1.0 / 32 / 1
x265 [info]: Rate Control / qCompress            : CRF-6.0 / 0.60
x265 [info]: VBV/HRD buffer / max-rate / init    : 1835 / 9800 / 0.900
x265 [info]: tools: limit-modes rd=2 psy-rd=2.00 signhide tmvp fast-intra
x265 [info]: tools: strong-intra-smoothing lslices=6 deblock sao stats-read
x265 [warning]: poc:55, VBV underflow (-258645 bits):08:00
x265 [warning]: poc:53, VBV underflow (-94787 bits)
x265 [warning]: poc:60, VBV underflow (-35787 bits)0:08:04
x265 [warning]: poc:470, VBV underflow (-144392 bits)0:05:00
x265 [warning]: poc:475, VBV underflow (-83197 bits) 0:04:58
x265 [warning]: poc:480, VBV underflow (-29189 bits) 0:04:56
x265 [warning]: poc:500, VBV underflow (-300304 bits)0:04:47
x265 [warning]: poc:505, VBV underflow (-869989 bits)0:04:45
x265 [warning]: poc:510, VBV underflow (-877285 bits)0:04:44
x265 [info]: frame I:     15, Avg QP:10.86  kb/s: 13344.23  PSNR Mean: Y:60.795 U:65.226 V:64.999  SSIM Mean: 0.998017 (27.027dB)
x265 [info]: frame P:    252, Avg QP:11.28  kb/s: 13405.70  PSNR Mean: Y:60.672 U:66.245 V:65.578  SSIM Mean: 0.997140 (25.437dB)
x265 [info]: frame B:    986, Avg QP:14.50  kb/s: 4855.28   PSNR Mean: Y:58.241 U:64.886 V:64.237  SSIM Mean: 0.996145 (24.139dB)
x265 [info]: Weighted P-Frames: Y:9.5% UV:4.0%
x265 [info]: consecutive B-frames: 6.7% 0.4% 0.4% 1.9% 90.6%


encoded 1253 frames in 443.32s (2.83 fps), 6676.54 kb/s, Avg QP:13.81, Global PSNR: 60.280, SSIM Mean Y: 0.9963672 (24.398 dB)

Alles anzeigen

LigH

Irgendwo zwischen den Versionen 1.8+167-e951ab673b1c und 1.8+201-769081eb5f4c wurde wohl ein Fehler implementiert, der dafür sorgt, dass im 2-pass-VBR-Verfahren die Zielbitrate eher unterschritten wird; in einem Extremfall konvergiert die Bitratenkurve gar nicht mehr, und x265 glaubt, der maximale QP 51 reicht aus.
__

P.S.: Die Ursache dafür war wohl, dass die Encodierung durch "--frames 100 -keyint 100" auf nur eine GOP beschränkt wurde.

LigH

Der Fehler bei der Bitratenverteilung mit Zonen wurde behoben.

In aktuellen Builds beginnt man mal vorsichtig mit der Einführung von UHD-Bluray-Kompatibilität, aber kleine Mängel sind in dem Bereich noch zu verbessern. Anscheinend ist das Testen schwierig mangels Geräten, und die Dokumentationen recht komplex.

Jetzt mitmachen!