Green Screen einmal anders
Netflix hat ein neuartiges Verfahren entwickelt, Personen und Gegenstände in Videoaufnahmen freizustellen und vor einem neuen Hintergrund zu platzieren. Diese Methode basiert auf der bekannten Green-Screen-Technik, aber auch auf künstlicher Intelligenz.
Das traditionelle Chroma-Key-Verfahren beruht darauf, Schauspieler vor einem einfarbigen Hintergrund agieren zu lassen, den man in der Postproduktion durch einen beliebigen anderen Hintergrund ersetzt. Früher wurde meist Blau und heutzutage Grün als Hintergrundfarbe genutzt, da diese nicht als reine Farben in Hauttönen vorkommen. In komplizierteren Fällen wie dem Freistellen von Haaren erhält man allerdings keine perfekten Ergebnisse, und während man die automatisch erzeugten Masken bei Standbildern manuell nacharbeiten kann, wäre das bei Videoaufnahmen beschwerlich. Transparente Objekte bereiten ebenfalls Probleme, und wenn die Hintergrundfarbe in einem Kleidungsstück oder einem Requisit auftaucht, verschwinden diese oder werden ungewollt durchsichtig.
Netflix-Mitarbeiter haben nun eine Methode entwickelt, die alle diese Probleme vermeiden soll. Beim Magenta-Green-Screen-Verfahren wird ein neutraler Hintergrund von grünen LEDs beleuchtet und dient als Green Screen. Als Beleuchtung von Schauspielern und Gegenständen im Vordergrund dienen rote und blaue LEDs, was zusammen ein violettes Licht ergibt. Durch diesen Farbunterschied lässt sich allein aus dem Grünkanal eine qualitativ hochwertige Maske erzeugen, die auch Transparenz berücksichtigt.
Die rotblaue Ausleuchtung des Vordergrunds verfälscht jedoch die Farben, denn der Grünkanal fehlt ja nun völlig und muss rekonstruiert werden. Die Berechnung eines Ersatz-Grünkanals, der aus dem Rot- und Blaukanal gemittelt und für eine stimmige Hauttonwiedergabe korrigiert wird, führt noch nicht zu einem befriedigenden Ergebnis. Deshalb trainierten die Netflix-Forscher ein neuronales Netz mit neutral ausgeleuchteten Aufnahmen, um realistische Farben zu reproduzieren.
Damit auch farbige transparente Objekte wie in diesem Beispiel die grüne Flasche richtig wiedergegeben werden, wird eine farbige Maske erzeugt, die den Hintergrund passend eingefärbt durchscheinen lässt. Grüne Kleidungsstücke im Vordergrund bleiben aufgrund der rotblauen Beleuchtung opak.
Die Farbrekonstruktion per KI benötigt derzeit noch zu viel Zeit, als dass sie in Echtzeit erfolgen könnte. Das Verfahren lässt sich daher noch nicht einsetzen, um beispielsweise Wetteransager vor einer im Hintergrund eingeblendeten Wetterkarte agieren zu lassen – dazu muss das Ergebnis ohne merkliche Latenz auf einem Kontrollmonitor angezeigt werden. Daran wird bei Netflix noch gearbeitet. Dort wird auch damit experimentiert, das rotblaue und das grüne Licht in einem Rhythmus von 72 Hertz alternieren zu lassen (dem Dreifachen der Bildfrequenz von 24 Bildern pro Sekunde), um ein scheinbar neutrales Licht zu produzieren. Das erfordert allerdings zusätzlichen Aufwand, damit bei schnellen Bewegungen keine Farbsäume entstehen.
