Ich habe den Fehler hoffentlich gefunden:
habe den Film nochmals mit Smartripper gerippt und den Schlüssel notiert. VOB's waren wie gehabt mit Softwareplayer nicht abspielbar.
Danach den Film mit DVD Decrypter in den Standardeinstellungen gerippt. Hierbei wurde ein ganz anderer Schlüssel angezeigt. Die VOB's konnten mit dem SW-Player problemlos abgespielt und mit DVD2AVI geöffnet werden.
Ursache war also Smartripper mit einer falschen Entschlüsselung. Frage: wie ist sowas möglich? Ist bei mir vorher noch nie vorgekommen.