Das Material, wie Du ja bereits schon gemacht hast, lossless (PAL 576i) aufzunehmen, ist gut. Wie schon geschrieben, wirst du mit diesem Format Wiedergabeprobleme auf so gut wie allen Bluray-Playern oder Smart-TVs haben. Wenn du das Seitenverhältnis beim Abspielen auf dem PC einfach nur korrigiert haben möchtest, versuch die Datei in Avidemux zu schmeißen und muxxe das ganze in ein MKV-Container. Dazu unter Container-Optionen das Seitenverhältnis erzwingen. (Force Aspect Ratio 4:3).
Ansonsten bringen wir dein Material in ein endnutzerfreudliches Format, was auch nicht weiter schwer ist 
Ist die Aufname wirklich interlaced? (Kammeffekte in jedem Frame sind bei Bewegungen zusehen)
Dann gibt es genau 2 Optionen. Man encoded das Material wieder interlaced (x264 mit MBAFF) oder man nutzt einen smarten Deinterlacer wie YADIF, BWDIF oder QTGMC und wandelt das Material nach progressiv, wobei für ein wirklich ruckelfreies Abspielen die Framerate verdoppelt werden sollte. Aus jedem Halbild wird also ein Vollbild errechnet. Wandlung nach progressiv ist zeitgemäßer und wird aufjedenfall auch Platz/Bitrate sparen. Jedoch gibt es auch Gründe das Material interlaced zubelassen und das Deinterlacing dem Player zu überlassen. Jedes Softwaredeinterlacing führt nämlich auch zu Qualitätsverlust.
Meine Empfehlung, encode dein Material ersteinmal mit x264 in AVC/H.264 und belasse es interlaced. Ich würde jedoch gar nicht direkt mit Avisynth herumfummeln, sondern auf Software zurückgreifen, welche das bequem für einen erledigt. Etwa Staxrip.
Schau dort, dass du unter Filter-Setup "AVS Filter" und nicht "VS Filter" gewählt hast. Als erstes croppst du dein Material um insgesamt 16 oder 18 Pixel links und rechts auf 704/702x576. Mit Rechtsklick fügst du noch den Field-Filter "Assume" und "TFF" (Top Field First) hinzu. (es kann sein, dass dieses Step auch weggelassen werden kann)
Crop(8, 0, -8, -0)
AssumeTFF()
Wählst als Container MKV und stellst unter Optionen die Aspect Ratio auf 4:3. Die PCM-Tonspur kannst du um Platz zu sparen natürlich auch transodieren, etwa nach AC3 oder MP3 oder was dir beliebt. Unter Optionen jedoch unbedingt den Haken bei "normalize" entfernen.
Jetzt konfiguriest Du nur noch den Encoder wie folgt:
--crf 20 --preset veryslow --profile high --level 3.1 --partitions all --no-fast-pskip --vbv-maxrate 17500 --vbv-bufsize 17500 --weightp 0 --merange 16 --bframes 4 --rc-lookahead 120 --ref 4 --min-keyint 24 --no-dct-decimate --colorprim bt470bg --colormatrix bt470bg --transfer bt470bg --tff
Wichtig ist hier --tff, damit x264 das Material Interlaced-Modus encoded. (Falls das Ergebnis dann in einem wild auf- und abspringendem Bild resultiert, muss --tff in --bff geändert werden. Ich würde bei recht rauscharmen Material etwa CRF 20 und bei verrauschtem Material CRF 23 wählen. Die finale Bitrate wird dann wahrscheinlich so bei ~5000kbps liegen. Dieser MBAFF (Macroblock-level Adaptive Frame-Field) Modus von x264 ist also recht bitratehungrig. Um das Rauschen zu reduzieren kann auch noch mit dem Parameter --nr experimentiert werden. Etwa --nr 500 könnte passen.
That's it. Jetzt hast du natürlich noch einen unschönen Overscanbereich (nennt man das so?), also diese unsauberen Kanten. Einige TVs schneiden die sogar automatisch mit ab, die Funktion heißt bei LG zum Beispiel "Just Scan". Das Video wird dann perfekt dargestellt, ob es das bei anderen Geräten auch gibt, weiß ich nicht. Ansonsten kann man die unsauberen Ränder auch noch croppen und mit Filtern wie Addborders oder Letterbox wieder zu 704/702 auffüllen. Es ist aber nicht ratsam, auf irgendwelche exotischen Werte zu croppen und dann nur die 4:3 Aspect Ratio zu erzwingen. Das ergibt exotische Werte für die Pixel Aspect Ratio (PAR) und Player können dann unter Umständen das Seitenverhältnis nicht korrekt darstellen. Hier sind wir wieder bei einem Nachteil bzw. Vorteil des Deinterlacen. Progressives Material können wir resizen und wir würden natürlich das anamorphe Verfahren entfernen. Wir hätten dann eine PAR von 1:1 und das Video würde immer richtig dargestellt werden.
Viel mehr möchte ich erstmal nicht schreiben. Falls dich auch die Variante mit dem Deinterlacing interessiert, kann ich dir dabei gern noch behilflich sein.