Auch wenn du ein 64-bit-System hast, kann ein 32-bit-Prozess im Allgemeinen nur maximal 2 GB verwalten; wenn er "Large Address Aware" ist, auch mehr, aber nicht den ganzen RAM. Das hängt von dem Programm ab, welches AviSynth benutzt. Das normale VirtualDub hat wohl das LAA-Bit nicht, aber es gibt Patch-Programme. Vielleicht empfehlen wir das mal Avery Lee...
Da nur ein 32-bit-AviSynth derzeit volle Leistungsfähigkeit hat, muss ein 32-bit-Programm verwendet werden, um das AviSynth-Skript aufzurufen. Es existiert zwar ein 64-bit-AviSynth, das dann auch mehr RAM nutzen könnte, aber das ist nicht vollständig und ziemlich instabil, und außerdem würden alle 32-bit-Plugins in einem 64-bit-AviSynth nicht verwendet werden können. Und FritzPhoto verwendet sehr viele Plugins.
AviSynth erlaubt auch die Limitierung oder Erweiterung des nutzbaren Speichers mit dem Befehl SetMemoryMax(). Standard – wenn man den Befehl nicht benutzt – ist bei aktuellen AviSynth-Versionen ein Viertel des freien RAM, aber höchstens 512 MB; man könnte ihn also auch höher einstellen, aber ich glaube, 1536 MB sollte man keinesfalls überschreiten, auch wenn FritzPhoto nur einzelne Bilder verarbeitet (bei laufenden Videos wäre es riskanter).