Welches Format soll es denn ganz am Ende werden?
Die modernen Videoformate sollte man nicht im veralteten AVI-Kontainer speichern, selbst wenn man es könnte. Wenn du z.B. als Videoformat MPEG4-AVC (H.264) bekommen willst, wirst du VirtualDub höchstens noch zur Vorschau des Skriptes verwenden (was man auch mit AvsPmod tun könnte), aber um das Skript dann zum endgültigen Konvertieren an den x264-Encoder zu schicken, hat VirtualDub eigentlich nichts mehr zu suchen.
Der x264-Encoder ist ein Kommandozeilenprogramm (CLI), welches auch aviSynth-Skripte als Videoquelle verwenden kann. Wer den Umgang mit der Eingabeaufforderung nicht so gewohnt ist, der verwendet "Konvertier"-Benutzeroberflächen wie (StaxRip, MeGUI o.ä.), um sich das AviSynth-Skript hübsch grafisch an den Encoder schicken zu lassen und später noch die Programme aufzurufen, die das encodierte Video dann mit einer Tonspur in einen gemeinsamen Kontainer verpacken (multiplexen), z.B. mit AAC-Ton gemeinsam in eine MP4-Datei. VirtualDub taucht dabei nicht mehr auf, das kann so was nicht.