Achso, Du hast x264 immer nur einen Pass genommen und x265 zwei Passes? Dann ist es verständlich, wenn y schneller ist, als x + z. Ich nahm an, Du hättest für x264 und x265 vergleichbare Modi genommen.
x + y + z < (x + z) + (x + z) <=> x + y + z < 2x + z + z <=> y < x + z
Wenn Dein schnellstes Ergebnis mit Filter 2,5 Stunden war und x264 allein nur 18 Minuten, ist aber klar, daß Du da durch einen schnelleren Encoder nicht mehr viel rausholen kannst. Vielleicht sogar gar nicht, wenn das Multi-Threading nicht optimal ist. Weitere Beschleunigung gibt es dann nur durch schnelleres Filtern. Da müßte man ansetzen. Also schnelleren Filter oder schnellere Einstellungen.