Encoding Geschwindigkeit / Prozesssor Auslastung pro Kern

a. Unterschiedliche Encoder nutzen die CPU Kerne unterschiedlich gut.
b. Unterschiedliche Decoder nutzen die CPU Kerne unterschiedlich gut.
c. ob und wie man Vapoursynth, Avisynth (+/MT/..) nutzt macht auch nochmals einen Unterschied
d. Wie gut manche Encoder/Decoder/Filterframeworks viele CPU Kerne nutzen hängt oft auch von der Auflösung des Materials ab.

Unterschiedliche Tools (Encoder/Decoder/Frameworks) skalieren unterschiedlich gut in Bezug auf die Anzahl der CPU Kerne.

"Doppelt so viele Kerne" heißt nicht "doppelt so hohe Geschwindigkeit" bei Multithreading. Denn je mehr Kerne, umso höher auch der Aufwand, die Zwischenergebnisse aller Kerne miteinander abzugleichen und zu einem Gesamtergebnis zu kombinieren. Und dieser Mehraufwand wird umso höher, je komplexer die Beziehungen zwischen den Teilergebnissen sind (die Parallelisierbarkeit sättigt). Deshalb nützt der Verwendung von z.B. x265 (im Vergleich zu x264) eher hochmoderne SIMD-Befehle und höhere Taktraten anstatt massenweise Rechenkerne. Hier ist es effizienter, mehrere Konvertierungen verschiedener Filme parallel durchzuführen. Allerdings weiß ich nicht, ob es ausgerechnet mit MeGUI möglich ist, mehrere Jobs parallel zu starten (ich erinnere mich zwar, dass es mehrere "Walker" hat, aber nicht, ob die aufeinander warten).

Die beiden CPUs sind ungefähr gleich stark:

https://www.cpubenchmark.net/compare.php?cm…&cmp%5B%5D=2418

Die höhere Taktrate des einen wird durch mehr Kerne des anderen ausgeglichen.
Aber halt nur, wenn die Software auch auf beliebig viele Kerne parallelisierbar ist und mehrere Kerne nutzen kann.
Wenn ne Software nur singlethreaded ist, ist halt nur die Taktrate eines Kerns ausschlaggebend. (deshalb auch bei vielen Kernen, immer mit hoher Taktrate kaufen)

Bei deinem MEGUI Setup ist vielleicht irgendein Vapoursynth oder Avisynth Filter aktiv, der nur auf einem Kern läuft und wegen der niedrigen Taktrate alles ausbremst?

Zitat von reencoder17

dass ist doch Paradox wenn ich so dermaßen viel langsamer bin mit einem bei weitem besseren Rechner

Was ist denn am E5 so bei weitem besser?

Ohne Turbo:
E3: 4 Kerne * 3,5 GHz = 14 GHz
E5: 6 Kerne * 2,4 GHz = 14,4 GHz

Mit Turbo (alle Kerne):
E3: 4 Kerne * 3,7 GHz = 14,8 GHz
E5: 6 Kerne * 2,6 GHz = 15,6 GHz

Hauptvorteil ist AVX 2.0. Nachteil ist, daß die ansonsten fast identische Leistung auf mehr Kernen verteilt ist.

Mehr als doppelt so langsam sollte aber trotzdem nicht sein. Mußt schauen, daß Du den Flaschenhals findest. Hinweise dazu haben meine Vorredner ja bereits gegeben. "Den einen" Haken bei MeGUI gibt es nicht.

Zitat von reencoder17

Doppelt soviel wollte ich ja gar nicht aber langsamer darf er halt echt nicht sein .. wenn ich die CPU Belastung mal anschaue die bei 7 % steht kommt es mir so vor als wie er total sparsam damit umgeht ;D

Das ist halt dein umweltfreundliche Rechner?

Spass beiseite. Mich würde interessieren, wie die Auslastung und Geschwindigkeit ist, wenn du etwas mit https://handbrake.fr/ auf beiden Rechnern umwandelst.
Gleiche Ausgangsdatei und gleiches Preset in Handbrake, so dass die gleiche Datei rauskommt.

Handbrake hat zwar weniger Möglichkeiten als MeGUI, aber dafür sollte da eigentlich nix drin sein, dass diesen Unterschied ausmachen könnte.

Das meiste ist schon gesagt, die schlechte Parallelisierbarkeit und der höhere Verwaltungsaufwand bei vielen Kernen.

Vielleicht hilft das:
FFMpeg Encoding and Core Usage

(Meine Güte, jetzt hat Stackexchange auch noch ein eigenen Videoboard ...)

Bei Xvid bin ich jetzt irgendwie nicht überrascht, daß es mit mehr Kernen (mit weniger Takt pro Kern) und AVX 2 nicht so toll läuft. Ich weiß nicht, was MeGUI das standardmäßig an Kernen nutzt, aber vielleicht ist mit man einem 6+6-Kerner am Ende sogar besser bedient, die Threads zu begrenzen.

Ich habe das gerade mal getestet, jeweils mit thread 1, 2, 3, 4, 0(Auto = 4?) Threads auf meinem Quad-Core.
[Blockierte Grafik: https://abload.de/img/xvid_multi_thread_tesapy9i.png]
Von oben nach unten threads 1, 2, 3, 4, 0, jeweils 1. und 2. Pass.

Man sieht: von 1 auf 2 Threads großer Geschwindigkeitszuwachs, von 2 auf 3 auch noch anständiger Zuwachs. Von 3 auf 4 Threads wird es bereits langsamer! Ich habe mich ewig nicht mehr mit Xvid beschäftigt, vielleicht mache ich auch was falsch. Aber es gibt da zumindest Fallstricke. x264 und x265 sollten da besser laufen. Trotzdem wäre ein einfacher i7-6700K wohl in jedem Fall schneller als Deine Xeons.

Zitat von sneaker2

Ich habe mich ewig nicht mehr mit Xvid beschäftigt, vielleicht mache ich auch was falsch.

Das würde aber passen. Es war immer die Rede, dass xvid effektiv nur 2-3 Kerne auslasten kann.

Zitat von monarc99

Es war immer die Rede, dass xvid effektiv nur 2-3 Kerne auslasten kann.

Aber warum? Ich hätte vermutet das Xvid besser parallelisierbar ist als die GOP-Struktur von x264. Wobei ich die "Frame-Struktur" von Xvid nicht kenne.

Hallo reencoder17,

bitte teile uns die genaue Bezeichnung von deinem neuen Mainboard Sockel 2011-3 mit.
Ich vermute, dass Du ein Single-Sockel-Mainboard mit einer Dual-Sockel-CPU gebaut hast. Eine E5-2620-CPU funktioniert nur mit einem 2-Sockel-Mainboard.
Man braucht daher unbedingt immer 2-CPUs. Sonst wartet die eine CPU vergeblich auf die Daten von der 2. CPU, die aber nie ankommen.
Mich wundert nur, dass der Rechner überhaupt funktioniert. Vorausgesetzt, meine Vermutung stimmt.

Zitat von Endoro

Aber warum? Ich hätte vermutet das Xvid besser parallelisierbar ist als die GOP-Struktur von x264. Wobei ich die "Frame-Struktur" von Xvid nicht kenne.

Ich denke, das ist der Zeit geschuldet, in der diese Encoder entstanden sind. Xvid ist ja wirklich schon alt und in einer Zeit entstanden, in der Multicore Prozessoren noch relativ neu waren bzw. noch gar nicht gab.
Und wenn man bedenkt: Es gab viele viele Jahrzehnte nur Singlethread Prozessoren und dann erst tauchten die ersten Dual Core CPUs auf. Da braucht man sich nicht wundern, dass die xvid Entwickler erstmal nur darauf bedacht waren, Xvid mit 2 Kernen zum Laufen zu bekommen.

Bei den ersten Dual Core CPUs dachten bestimmt die wenigsten, das nach sehr kurzer Zeit dann 3- 4- 6- 8-Kern CPUs folgen, wenn es 70 (?) Jahre bis zu Dual Core gedauert hat. Erst später hat man sich auf mehr als 2 Kerne konzentriert, aber da war xvid schon nicht mehr aktuell. Sondern x264 und jetzt eben x265. Und für aktuelle CPUs braucht man halt auch aktuelle Encoder, damit sie die neuen Möglichkeiten neuerer CPUs ausnutzen können.

Ja, so sehe ich das auch. Die x264-Entwickler meinten auch, Xvid hätte generell nie die Reife von x264 erreicht. Da wäre noch Potential. Ich kann bei x264 auch eine GOP-Struktur passend zu Xvid erstellen und es wird trotzdem gut skalieren. Bei Intel kommt noch dazu: der Turbo Boost schaltet bei vielen CPUs mit mehr ausgelasteten Kernen niedriger. Das könnte die eh schon schlechte Skalierung noch weiter auffressen. Dazu vielleicht noch Unterschiede wie CABAC oder Slices. Ist letztendlich auch egal, Xvid ist wie es ist. Weiterentwicklung erwartet hoffentlich niemand mehr.

Zitat von LigH

Allerdings weiß ich nicht, ob es ausgerechnet mit MeGUI möglich ist, mehrere Jobs parallel zu starten (ich erinnere mich zwar, dass es mehrere "Walker" hat, aber nicht, ob die aufeinander warten).

Scheint es zu geben: https://en.wikibooks.org/wiki/MeGUI/Pre…l_job_execution
Wenn man immer nur Filme einzeln wandelt, bringt das natürlich nicht viel bzw. man müßte selbst manuell nacharbeiten und die Filme erst aufsplitten und später wieder zusammenfügen. Lohnt die Arbeit vermutlich nicht.

Hallo reencoder17,

danke für die 2 Bilder. Gut, das Mainboard liegt im mittleren Bereich. Ist aber nicht schlecht. Nur ein PCIe V3 x16, ist für die heutige Zeit etwas schwach.
Laut deiner CPU-Z-Software, beträgt der Core-Speed nur knappe 1.2 GHz. Dieser sollte aber bei 2.4 GHz liegen.
Im Datenblatt des Mainboards ist der Chipsatz C610 aufgeführt. CPU-Z, liest aber den X99 Chipsatz heraus. Es sind 2 verschiedene Chipsätze für Server, das ist richtig.

Wie viele GHz zeigt das UEFI an? Die GHz eventuell manuell eingeben? UEFI-Update? Komischerweise unterstützt das HP-Mainboard die E5-2600er-Versionen.
Ich sehe das kritisch, denn die 2600er-Serie kommuniziert normalerweise mit der 2. Sockel-CPU. Diese 1.2 GHz ist genau der Wert, auf den die CPU zurück fällt, wenn eine 2. CPU fehlt.
Der HPE ProLiant DL360 Gen9 Server wäre besser gewesen, aber leider auch teurer. Hat dafür 2 CPU-Sockel.

Einmal zum testen, würde ich den E5-1650v4 (3.6 GHz, 140 W) vorschlagen. Klar, nur wenn die Möglichkeit besteht. Vielleicht von einem Bekannten ausleihen.

Wenn Du ein gutes Mainboard mit 2 Sockel 2011-3 (Desktop) möchtest, dann kann ich dir dieses hier empfehlen:
[FONT=&amp]Supermicro X10DAC, ca. 500 €[/FONT]

[FONT=&amp]Der neue Sockel 3647, unterstützt bis zu 72-Kerne-CPUs.[/FONT]

Zitat von Pro Jo

Laut deiner CPU-Z-Software, beträgt der Core-Speed nur knappe 1.2 GHz. Dieser sollte aber bei 2.4 GHz liegen.
[...]
Diese 1.2 GHz ist genau der Wert, auf den die CPU zurück fällt, wenn eine 2. CPU fehlt.

Ich will nicht behaupten, daß Du falsch liegst, aber ich finde zu dem Thema nichts online. Deine Beiträge sind das erste mal, daß ich von einer solchen Einschränkung bei Xeons lese. Meine erste Vermutung bei den 1,2 GHz war, daß er gerade im Idle ist, und die CPU deshalb automatisch zum Energiesparen runtergetaktet ist. Soweit eigentlich völlig normal. Müßte man bei voller Auslastung noch mal Gegentesten. CPU-Z zeigt live den aktuellen Takt an.

Zitat von Pro Jo

Der neue Sockel 3647, unterstützt bis zu 72-Kerne-CPUs.

Wovon Xvid dann 3 nutzen kann.