Ja, beim Capturen selbst keine Filter anwenden.
Da du den PICVideo MJPEG Ver. 3 nutzt, lies auch das mal durch:
http://forum.gleitz.info/showthread.php?t=18735
Folge: du solltest in AviSource die Option pixel_type="YUY2" angeben:
Avisource("X:\xxxxxx.avi", Pixel_Type="YUY2")
Dass auch wirklich in YUY2 gecapturt wird musst du im Capture-Programm angeben. Ich verwende dazu VirtualVCR u. anbei findest du ein PDF mit meinen VirtualVCR-Settings. Weiters habe ich dir auch einen Screenshot meiner MJPEG Einstellungen angehängt, ich nutze aber noch die V2 des PICVideo MJPEG.
Nun zu deinem anderen Problem:
Wenn du das Avisynth-Script (also die *.AVS Datei) mittels File / Open video file... öffnest, dann siehst du bereits das Ergebnis der gesamten Avisynth-Befehlskette in VDubMod. Du brauchst den Befehl "Run Script..." nicht!
Wenn du dann in der AVS-Datei eine Änderung vornimmst u. die Datei abspeicherst, dann brauchst du in VDubMod lediglich F5 zu drücken u. die Datei wird neu (inkl. der soeben gemachten Änderung) geladen und es wird dann auch gleich wieder zum selben Frame gesprungen. Du siehst also die Auswirkung der Änderung sofort.
Lass mal die Finger von Run Script.. (habe ich bis soeben noch gar nicht gekannt ;))
Zu VDubMod & RGB: wenn du VDub-interne Filter nutzt, dann musst du in VDub den "Full Processing Mode" aktivieren u. dann wandelt VDub intern selbständig auf RGB (auch wenn das AVS-Script YUY2 liefert). Das sollte man jedoch vermeiden, dann RGB langsamer ist u. jede Farbraumkonvertierung Qualitätseinbussen bringt.
Da du aber ohnehin AviSynth nutzen willst u. daher alles darüber filterst, brauchst du ja auch keine VDub-Filter nutzen u. kannst daher in YUY2 bleiben, bzw. max. innerhalb des AVS-Scripts mal auf YV12 wandeln falls du einen Avisynth-Filter einsetzt welcher nur YV12 kann.
Da solltest auf jeden Fall in VDub "Fast Recompress" aktivieren, denn dann wandelt VDub nicht intern auf RGB sondern belässt den Farbraum unverändert so wie vom AVS-Script geliefert u. leitet dies dann direkt an den Encoder durch.