Genau - beim Schneiden mit "Direct Stream Copy" bitte immer nur an Schlüsselbildern die Schnittpunkte setzen.
I-Frames = Key-Frames = Schlüsselbilder (deswegen auch der Schlüssel in den Icons der NEXT/PREV-Keyframe-Buttons in VirtualDub); nur solche Frames kommen überhaupt für einen Schnittpunkt in Frage, aber nicht jedes I-Frame in einem AVC-Video ist auch wirklich ganz unabhängig von allen anderen Frames - und VirtualDub kann I-Frames nicht von IDR-Frames unterscheiden. Avidemux könnte das wohl eher, denke ich... aber ich kenn's nicht auswendig.
Die Warnung, dass Smart-Rendering nicht möglich sei, weil nicht sichergestellt werden kann, dass der Codec kompatible Ergebnisse generieren würde, ist durchaus berechtigt.
Dass VirtualDub das MOV mal nicht liest, kann gut sein - selbst mit QuickTime-Import-Plugin ist nicht garantiert, dass sich alle importierten Daten weiterverarbeiten ließen; es ist nun mal ein AVI-Editor, und dadurch auf Formate angewiesen, für die passende VfW-Codecs installiert sind.