Blog

Green Screen einmal anders

Netflix hat ein neuartiges Verfahren entwickelt, Personen und Gegenstände in Videoaufnahmen freizustellen und vor einem neuen Hintergrund zu platzieren. Diese Methode basiert auf der bekannten Green-Screen-Technik, aber auch auf künstlicher Intelligenz.

Das traditionelle Chroma-Key-Verfahren beruht darauf, Schauspieler vor einem einfarbigen Hintergrund agieren zu lassen, den man in der Postproduktion durch einen beliebigen anderen Hintergrund ersetzt. Früher wurde meist Blau und heutzutage Grün als Hintergrundfarbe genutzt, da diese nicht als reine Farben in Hauttönen vorkommen. In komplizierteren Fällen wie dem Freistellen von Haaren erhält man allerdings keine perfekten Ergebnisse, und während man die automatisch erzeugten Masken bei Standbildern manuell nacharbeiten kann, wäre das bei Videoaufnahmen beschwerlich. Transparente Objekte bereiten ebenfalls Probleme, und wenn die Hintergrundfarbe in einem Kleidungsstück oder einem Requisit auftaucht, verschwinden diese oder werden ungewollt durchsichtig.

Grünes Licht auf den Hintergrund, rotes und blaues Licht auf den Vordergrund – auf dieser Beleuchtung beruht das Magenta-Green-Screen-Verfahren. (Quelle: Netflix)

Netflix-Mitarbeiter haben nun eine Methode entwickelt, die alle diese Probleme vermeiden soll. Beim Magenta-Green-Screen-Verfahren wird ein neutraler Hintergrund von grünen LEDs beleuchtet und dient als Green Screen. Als Beleuchtung von Schauspielern und Gegenständen im Vordergrund dienen rote und blaue LEDs, was zusammen ein violettes Licht ergibt. Durch diesen Farbunterschied lässt sich allein aus dem Grünkanal eine qualitativ hochwertige Maske erzeugen, die auch Transparenz berücksichtigt.

Die rotblaue Ausleuchtung des Vordergrunds verfälscht jedoch die Farben, denn der Grünkanal fehlt ja nun völlig und muss rekonstruiert werden. Die Berechnung eines Ersatz-Grünkanals, der aus dem Rot- und Blaukanal gemittelt und für eine stimmige Hauttonwiedergabe korrigiert wird, führt noch nicht zu einem befriedigenden Ergebnis. Deshalb trainierten die Netflix-Forscher ein neuronales Netz mit neutral ausgeleuchteten Aufnahmen, um realistische Farben zu reproduzieren.

Green Screen einmal anders
Der freigestellte Vordergrund mit per KI rekonstruiertem Grünkanal und einem neuen Hintergrund. (Quelle: Netflix)

Damit auch farbige transparente Objekte wie in diesem Beispiel die grüne Flasche richtig wiedergegeben werden, wird eine farbige Maske erzeugt, die den Hintergrund passend eingefärbt durchscheinen lässt. Grüne Kleidungsstücke im Vordergrund bleiben aufgrund der rotblauen Beleuchtung opak.

Green Screen einmal anders
Die durchsichtige grüne Flasche behält auch vor einem neuen Hintergrund ihre Transparenz ebenso wie ihre Farbe. (Quelle: Netflix)
Im Gegensatz zum traditionellen Green-Screen-Verfahren (rechts) führt die Magenta-Green-Screen-Technik zu einer präzisen Freistellung der Haare; Grün im Vordergrund bleibt undurchsichtig (links). (Quelle: Netflix)

Die Farbrekonstruktion per KI benötigt derzeit noch zu viel Zeit, als dass sie in Echtzeit erfolgen könnte. Das Verfahren lässt sich daher noch nicht einsetzen, um beispielsweise Wetteransager vor einer im Hintergrund eingeblendeten Wetterkarte agieren zu lassen – dazu muss das Ergebnis ohne merkliche Latenz auf einem Kontrollmonitor angezeigt werden. Daran wird bei Netflix noch gearbeitet. Dort wird auch damit experimentiert, das rotblaue und das grüne Licht in einem Rhythmus von 72 Hertz alternieren zu lassen (dem Dreifachen der Bildfrequenz von 24 Bildern pro Sekunde), um ein scheinbar neutrales Licht zu produzieren. Das erfordert allerdings zusätzlichen Aufwand, damit bei schnellen Bewegungen keine Farbsäume entstehen.


Zeig mehr

Michael J. Hußmann

Michael J. Hußmann gilt als führender Experte für die Technik von Kameras und Objektiven im deutschsprachigen Raum. Er hat Informatik und Linguistik studiert und für einige Jahre als Wissenschaftler im Bereich der Künstlichen Intelligenz gearbeitet.

Ähnliche Artikel

Schreiben Sie einen Kommentar

Bitte melden Sie sich an, um einen Kommentar zu schreiben.

Das könnte Dich interessieren
Close
Back to top button