Freistellen mit AviSynth

vermutlich irgendwie so:

clip1 = Wie auch immer dein Input ist
clip1 = clip1.converttorgb32() 
transparent=resetmask(clip1).colorkeymask(*siehe http://avisynth.org/mediawiki/Layer#ColorKeyMask *)
clip2 = Wie auch immer dein 2ter Input ist
clip2 = clip2.converttorgb32()
ausgabe = layer(clip2, transparent) 
ausgabe = ausgabe.convertToYv12()
return ausgabe

Eventuell könnte man den colorkeymask Teil auch irgendwie 'automatisieren', wenn man einen 3ten Clip hat der komplett die gewünschte Farbe hat, aber wie das dann geht: keine Ahnung

Im wesentlichen musste Dir http://avisynth.org/mediawiki/Layer durchlesen, layer, resetmark und colorkeymask gehören alle zu Layer und sind dort beschrieben.

Cu Selur

Ich gehe davon aus, dass AviSynth nicht in der Lage ist, Farben aus einem Video in einer Art auszulesen, die geeignet wäre, sie auf die Chroma-Maske anzuwenden. Wie sollte man auch definieren, welchen Bereich (räumlich und zeitlich) es sich dafür "anschauen" soll?

Du wirst das wohl mit einem Grafikprogramm anhand eines Screenshots ermitteln müssen, und mit dem Bereich experimentieren.

In dem "Leeres-Studio-Video" ist also nichts anderes zu sehen als nur das Tuch - die ganze Zeit über nur die leere Fläche? Sozusagen ein "komplett virtuelles Studio"?

Das wäre so ziemlich der Idealfall. Das Chroma-Keying soll aber auch funktionieren, wenn man eben den nicht verfügbar hat, also auch sonstige Inhalte andauernd im Video sind. Und da kann man z.B. nicht mal eben über die ganze Bildfläche und Spieldauer einen Mittelwert bilden lassen.

Leider arbeiten die Mask-Funktionen ausschließlich im RGB32-Format, somit ist also auch ein "Chroma-Keying", das insbesondere Farbton und Sättigung vergleicht, nicht aber die Helligkeit, mit AviSynth so auch nicht möglich, außer mit hoher RGB-Toleranz -- wobei hier die Maskenfarbe als AvISynth-Farbwert angegeben werden muss, also hexadezimal (wie bei HTML-Farben) mit Dollarzeichen davor, z.B. $00FF00 für absolutes grün (was natürlich in einer Kamera-Aufnahme nie vorkommt). Ein guter Anhaltspunkt wäre also sicherlich ein Screenshot, kräftig weichgezeichnet, etwa 1/3 auf der Bilddiagonalen den RGB-Wert abgenommen.
__

Eventuell könne man folgendes versuchen:

Die Funktion Subtract() ermittelt ein Differenzvideo zwischen zwei Videos. Das Ergebnis ist allerdings bei identischen Clips "mittelgrau", man müsste also noch durch eine Art "Absolutbetrag" dafür sorgen, dass Identität schwarz wird und jegliche Abweichung davon heller. Vielleicht sollte man auch Luminanz und Chrominanz hier getrennt betrachten. Ich vermute mal, dass mit LUT-Funktionen da was möglich wäre, wenn das nicht die MaskTools schon komplett anbieten (die kenne ich bisher nicht auswendig).

Wenn man dann also eine Maske hat, die Differenzen entsprechend absolut als Helligkeit darstellt (möglichst überwiegend nach Chrominanz, und sicherlich auch mit erhöhtem Kontrast oder Gamma - siehe Levels() bzw. Tweak(); ich weiß jetzt nicht, ob Invertierung nötig wäre), kann man diese nun verwenden, um das Studio-Video so über das Hintergrundvideo zu blenden (Layer() / Overlay()), dass - gewichtet nach Übereinstimmung mit dem leeren Studio - die entsprechenden Bereiche des vollen Studios beim Überblenden transparent werden und das Hintergrundvideo durchlassen.

Zu beachten ist bei dieser Sache, dass YUV-Videos einen Wertebereich von 16-235 haben (TV-Scale), dass die Maske aber wahrscheinlich nur bei einem Wertebereich 0-255 im RGB32-Modus volle Wirkung zeigt. Da wäre also vielleicht ein "Coring" auszugleichen - oder zumindest die englische AviSynth-Dokumentation ganz genau zu lesen.

Ich glaube, so was lohnt sich als fertiges Funktions-Skript (*.avsi).
__

P.S.:

Hier mal was als Diskussionsgrundlage - insbesondere die Art der Überblendung mit einem reinen "mt_merge()" am Ende ist sicherlich noch nicht das Optimum, aber zumindest der Anfang der Idee.

VStudio.avsi

mt2_dll = "E:\Programme\AviSynth 2.5\plugins\MaskTools2\mt_masktools-25.dll"
# MaskTools2 von manao - hier masktools-v2.0a44 für AviSynth 2.5x und Win32


LoadPlugin(mt2_dll)


# rechts sättigende Kurve
function SoftThresholdR(clip clip, float "sharpness", int "blackness", int "whiteness")
{
	sharpness = Default(sharpness, 1.0)
	blackness = Default(blackness, 0)
	whiteness = Default(whiteness, 255)
	lumarange = whiteness-blackness


	return mt_lut(clip, "x "+String(blackness)+" - "+String(lumarange)+" / "+String(sharpness)+" * atan "+String(sharpness)+" atan / 255 *", chroma="copy")
}


# beidseitig sättigende Kurve
function SoftThresholdB(clip clip, float "sharpness", int "blackness", int "whiteness")
{
	sharpness = Default(sharpness, 1.0)
	blackness = Default(blackness, 0)
	whiteness = Default(whiteness, 255)
	lumarange = whiteness-blackness


	return mt_lut(clip, "x "+String(blackness)+" - 2 * "+String(lumarange)+" - "+String(lumarange)+" / "+String(sharpness)+" * atan "+String(sharpness)+" atan / 128 * 128 +", chroma="copy")
}


# "Virtuelles Studio": Differenz zwischen zwei Aufnahmen als Maske für Hintergrundvideo
function VirtualStudio(clip emptyStudio, clip fullStudio, clip background, float "gamma", float "contr", bool "st", float "st_sharp", int "st_black", int "st_white", bool "test")
{
	absdiff = mt_lutxy(emptyStudio, fullStudio, "x y - abs 2 *", chroma="process")


	absdiff = Defined(gamma) ? absdiff.Levels(0, gamma, 255, 0, 255) : absdiff
	absdiff = Defined(contr) ? absdiff.Tweak(cont=contr) : absdiff
	absdiff = Default(st, false) ? absdiff.SoftThresholdB(st_sharp, st_black, st_white) : absdiff


	return Default(test, false) ? absdiff : mt_merge(background, fullStudio, absdiff)
}

:redface: -- "Ist hier Weibsvolk anwesend?" (Bitte nur eine Tüte Kiesel...)

Es ist Avisynth Code, das Board kennt nur die Bezeichnung nicht und nennt daher jeden als Code markierten Bereich PHP-Code.
Du brauchst keinen Webserver sondern lediglich ein installiertes Avisynth und die benötigten avisynth-filter-dlls im Avisynth Autoload-Plugin Ordner (Üblicherweise liegt der im Verzeichnis von Avisynth selbst).

Ja, tut mir leid ... wir gehen leider immer noch davon aus, dass Nutzer dieses Forums erst mal einiges an Themen hier bereits gelesen hätten, und dass dabei schon aufgefallen wäre, wie manche gern den PHP-Syntax-Highlighter verwenden, um auch AviSynth-Quelltext gut lesbar darzustellen. Na, vielleicht lag's an der Hitze, dass der Beitrag nur flüchtig überflogen wurde...

Thema des Beitrages = "Freistellen mit AviSynth"

Zitat von LigH

... mit AviSynth ... mit LUT-Funktionen ... die MaskTools ... Levels() bzw. Tweak()...

Ich glaube, so was lohnt sich als fertiges Funktions-Skript (*.avsi).
...

VStudio.avsi

mt2_dll = "E:\Programme\AviSynth 2.5\plugins\MaskTools2\mt_masktools-25.dll"
# MaskTools2 von manao - hier masktools-v2.0a44 für AviSynth 2.5x und Win32
...
mt_lutxy
Levels(0, gamma, 255, 0, 255)
Tweak(cont=contr)

Alles anzeigen

__

Wie auch immer ... was ich da oben gepostet habe, ist ein AviSynth-Skript, das nur Funktionsdeklarationen enthält. Das macht für sich alleine noch nichts, die Funktion muss erst mal verwendet werden. Dazu wird sie importiert. Und dann müssen nur noch die drei Clips geladen werden, die hier benutzt werden sollen.

Ich habe noch einige Möglichkeiten dazugetan, um die Differenzmaske steiler zu bekommen, damit sehr geringe Differenzen ignoriert und hohe Differenzen gesättigt werden können (anschaulich: vom Graustufen- zum scharfen Schwarz-Weiß-Bild - wie eine Silhouette, nur andersherum). Mit der Option "test=true" wird die Maske selbst angezeigt statt des eigentlichen Filmes.

Hier also moch mal ein vereinfachtes Beispiel als AviSynth-Skript (trotz PHP-Block; und mit Platzhaltern für die richtige Source-Funktion und die richtigen Dateinamen):

Import("VStudio.avsi")


emptyStudio = ___Source("___")
fullStudio = ___Source("___")
background = ___Source("___")


# ein Beispiel zur Nutzung von SoftThresholdB zur Kontraststeigerung:
VirtualStudio(emptyStudio, fullStudio, background, st=true, st_sharp=4, st_black=16, st_white=64)

Größter Nachteil dafür: Alle drei Clips müssen gleiche Eigenschaften haben - gleiche Bildfläche, gleiche Dauer - alle drei müssten über die gesamte Länge vorliegen. Die Aufnahme des leeren Studios könnte dafür eventuell geloopt werden, bis sie lang genug wird.

Außerdem wird vermutlich die Verarbeitung einer Tonspur micht optimal sein, ich habe mich nur auf das Video konzentriert. Den Ton sollte man vielleicht getrennt produzieren und am Ende dazu multiplexen.

Und wie schon erwähnt - vielleicht braucht man auch noch eine andere Variante zum Überlagern statt "mt_merge" mit Standard-Optionen.

Doch, doch, Du schaffst das.

Import("C:\Action\VStudio.avsi") 


emptyStudio = [COLOR='Blue']AviSource[/COLOR]("C:\Input\emptyStudio.avi")  # AviSource
fullStudio = [COLOR='Blue']AviSource[/COLOR]("C:\Input\fullStudio.avi")    # AviSource
background = BlankClip(fullStudio, color=00000000)   # "fullStudio" als "Vorlage" für BlankClip 
                                                     # (gleiche Breite, Höhe, Framerate, Farbraum, ...)


# ein Beispiel zur Nutzung von SoftThresholdB zur Kontraststeigerung: 
VirtualStudio(emptyStudio, fullStudio, background, st=true, st_sharp=4, st_black=16, st_white=64)

Das Nutzen eines einzigen Clips ginge wohl mit dem Trim()-Befehl: Man hat eine AviSource, die man einer Clip-Variablen zuweist, aus dieser schneidet man mit einem Trim() die ersten paar Sekunden in "emptyStudio" aus, mit einem anderen Trim() den ganzen Rest in "fullStudio", und sorgt mit Floor(fullStudio.FrameCount/emptyStudio.FrameCount) sowie Loop() und Trim() dafür, dass emptyStudio so lange wiederholt wird, bis es genau so lang wie fullStudio wird.

Wie man "background" auf die Länge und Größe bekommt, die "fullStudio" hat, siehst du schon im Code-Block von Didée: BlankClip(fullStudio, ...) holt sich alle Eigenschaften aus dem Vergleichsclip.

AviSynth ist ohnehin eigentlich nicht zum Anschauen in Echtzeit gedacht, sondern zum Rendern in eine Folge-Video-Datei. Also die *.avs-Datei in VirtualDub öffnen, Video - Compression, File - Save AVI.

Ich würde gern mal etwas Testmaterial selber bekommen. Kannst du u.U. eine Aufnahme irgendwo hochladen, in der vielleicht nur mal kurz einer ins Bild und wieder raus geht?

Zitat

Sorry, the page (or document) you have requested is not available.

Please check the address and try again.

Und das trotz Anmeldung mit einem Google-Konto. Außerdem sind 440 MB doch etwas viel für gerade mal 10 Sekunden?!

Nun ja ... das ganze klappt noch nicht ganz wie erwartet. Ich muss da noch ein wenig basteln, insbesondere dass die Chroma-Differenz mehr Einfluss auf die Luminanz der Maske bekommt, aber das scheint bei den MaskTools nicht direkt zu funktionieren, also werde ich da wohl noch mit UtoY und VtoY was kombinieren müssen.

Wird sicher so in den nächsten Tagen...

Habe mir deinen Elvis auch mal angesehen, aber ich kann mir ehrlich gesagt nicht vorstellen, dass du damit einen gescheiten Key her bekommst. Die Ausleuchtung von deiner Box ist nicht gut, zu viele Knicke drin, Karton zu Kopf ist nicht in der gleichen Farbe. Dann ist der Kotrast von BG zu Elvis lange nicht so hoch wie er sein könnte. Warum ist der BG Rot? Macht da nicht viel Sinn. Nimm was am weitesten entfernt liegt. z.B. Grün, das wäre so gar nicht in der Szene.
Bei diesen Dimensionen sollte es super funktionieren, eine gescheite "Studiosituation" zu bauen.
eigentlich sollte das ganze auch separat ausgeleuchtet werden. Also eine Beleuchtung für die Box, möglichst homogen und eine Beleuchtung für den Charakter. Dann hast Du nicht ganz so das Problem, dass das Licht vom BG auf den Charakter zurückgestrahlt wird.
Wenn deine Cam Progressive unterstützt, solltest das nach Möglichkeit auch bei der Aufnahme verwenden, MediaInfo zeigt mir das zwar an, aber das Vid scheint trotzdem Interlaced zu sein. Was man zu dem auch gerne macht, ist die Kameraschärfung zu deaktivieren und erst im Compositing ein Schärfefilter drauf hauen.
Im Netz findest sicher noch mehr gute Tipps für solche Geschichten.
Verstehe auch nicht warum das in Avisynth gemacht werden soll. Es gibt auch einige OpenSource Compositing Tool, die das sicher um Längen besser können. Aber ok, mit Avisynth geht es sicher auch :).

Edit: Aso, Deine Box braucht sicher auch keine Winkel. Pap dein Screen einfach auf eine gerade kamerafüllende Fläche und gut ist ;).

Rot und blau haben insbesondere im Modus YV12 (bzw. Chroma-Subsampling 4:2:0, was am häufigsten in der modernen Videobearbeitung verwendet wird) den Nachteil, dass sie nur halbe AUflösung in beide Richtungen haben, also sehr unscharfe Masken ergeben. Deshalb wurde ja von Blue-Box auf Green-Box umgestellt.