Ich gehe mal davon aus, dass du eine DVD als Quelle hast. Dann ist 16:9 als SAR auf jeden Fall falsch, denn 16:9 ist das Display AR (DAR) incl. schwarzer Balken. x264's SAR meint aber das Pixel AR (PAR).
Das hier sind die richtigen Zahlen:
für digitale Wiedergabe am Computer
PAL NTSC
non-anamorph 12/11 10/11
anamorph 16/11 40/33
für analoge Wiedergabe am Fernseher
PAL NTSC
non-anamorph 128/117 72/79
anamorph 512/351 96/79
Da es nur ein AR-Flag gibt, musst du dich entscheiden, welches Wiedergabemedium du hauptsächlich nutzt. Die Abweichungen sind allerdings gering: für eine anamorphe PAL-DVD z.B. 1,4545 und 1,4586. Das kann man vernachlässigen.
Die üblicheren Werte sind die digitalen, die auch im ITU-R BT.601-Standard stehen. XviD richtet sich bei seinen Standard-PARs z.B. danach.
2,35:1 spielt bei der DVD übrigens keine Rolle. Alle Widescreen Formate sind anamorph (sinnvolles Authoring vorausgesetzt) und unterscheiden sich nur durch die Größe der schwarzen Balken. Das PAR ist bei allen gleich, egal ob 1.78, 1.85, 2.35 etc. Und es verändert sich durchs Cropping auch nicht.
Wenn dir bei mod16 noch Ränder bleiben, hilft oft der FillMargins-Filter weiter. Meistens handelt es sich ja nur um 1-2 schwarze Pixelreihen. Und die kann der Filter bestens übertünchen.