Wenn du mir sagst wie das geht und was ich mit dem Archiv machen soll?
Alles schön in den MinGW Ordner entpacken. Die Verzeichnisstruktur sollte deinem MinGW Ordner entsprechen, also die Dateien aus "bin" in den "bin" Ordner, die Dateien aus "lib" in den "lib" Ordner und so weiter...
Dann in MSYS in den Ordner wechseln, wo deine x264.exe ist und:
gdb --args x264.exe --help
Mit "run" startest du das Programm, mit "bt" kannst du nach einem möglichen Crash den Backtrace erzeugen und mit "quit" verlässt man den gdb...