KI mit Realitätssinn

Computerspiele haben ein hohes Maß an visuellem Realismus erreicht, zeigen im Detail aber immer noch Schwächen. Statt die gerenderten Bilder mit einer noch komplexeren Modellierung zu perfektionieren, bietet sich eine Alternative an: Neuronale Netze, trainiert anhand realer Filmszenen, können aus dem Output des Renderers noch realistischere Ansichten generieren. Michael J. Hußmann sprach mit einem Wissenschaftler der Intel Labs darüber, was sein Team auf diesem Wege erreicht hat. Um die Bilder von Computerspielen noch wirklichkeitsgetreuer zu machen, könnte man das physikalische Modell der simulierten Welt perfektionieren, aber der Rechenaufwand für das Rendering wäre dann immens. Statt den Weg des Lichts von der Lichtquelle bis zum Auge des virtuellen Betrachters noch präziser zu modellieren, haben Stephan Richter, Hassan Abu AlHaija und Vladlen Koltun von den Münchner Intel Labs neuronale Netze anhand von Realbildern darauf trainiert, dem Output eines Videospiels eine fotorealistische Anmutung zu verleihen. Als konkretes Beispiel dient Grand Theft Auto V (GTA V) von Rockstar Games. Darin schlüpft der Spieler in der Rolle eines Kleinkriminellen und steuert – sofern er nicht gerade an seiner verbrecherischen Karriere arbeitet – ein Auto durch das fiktive Los Santos, das stark an das reale Los Angeles angelehnt ist. Der gerenderte Blick durch die Windschutzscheibe mag für die Belange des Spiels hinreichend glaubwürdig wirken, aber schaut man genauer hin, zeigen sich Unvollkommenheiten: Der Lack anderer Autos glänzt nicht realistisch, das Glas wirkt manchmal stumpf und das Grün in der Landschaft ist eher lieblos hingetupft. Realistische Bilder durch KI Der KI-Ansatz der Intel Labs setzt auf neuronale Netze vom „Adversarial“-Typ, bei dem zwei Netze gegeneinander arbeiten: Ein neuronales Netz soll die eigentliche Leistung erbringen und lernen, fotorealistische Bilder zu produzieren, während ein anderes darauf trainiert wird, den Output des ersten Netzes zu kritisieren, indem es ihn mit realem Bildmaterial ähnlicher Szenen vergleicht. Während das zweite Netz zu einem immer treffsichereren Kritiker wird, lernt das erste Netz, immer bessere Ergebnisse zu liefern (1). In der Trainingsphase lernt das „Image Enhancement Network“, den Realismus der Bilder zu verbessern, wobei der „Perceptual Discriminator“ das Ergebnis mit den Referenzbildern vergleicht. Zum verwendeten Referenzmaterial für reale Straßenszenen gehört der Cityscapes-Datensatz (www.cityscapes-dataset.com) von Daimler und universitären Partnern, die Videos bei Autofahrten durch 50 Städte zwischen Hamburg und Zürich, Aachen und Dresden aufgenommen haben, sowie die 25000 Fotos aus aller Welt, die im Mapillary Vistas Dataset (www.mapillary.com) enthalten sind. Die Bildverbesserung wird dadurch erleichtert, dass sie nicht allein auf die gerenderten Bilder zurückgreifen muss, wie man sie auf dem Bildschirm sieht. Das Computerspiel verwendet sogenannte G-Buffer zur Speicherung von Zwischenergebnissen des Rendering, und Intels KI-Software kann diese Daten aus der Pipeline zwischen Prozessor und Grafikkarte abgreifen. Diese G-Buffer enthalten beispielsweise eine Tiefenkarte (2), Informationen zur Ausrichtung von Flächen (3) und zu deren Reflexionsvermögen, sowie eine Segmentierung der Szene in einzelne Objekte (4). Das neuronale Netz muss also nicht selbst erkennen, was Straße, Fahrzeug, Gebäude oder Himmel ist. Die G-Buffer enthalten Zwischenergebnisse des Rendering wie eine Tiefenkarte [2], die Ausrichtung der Flächen [3] und die Segmentierung verschiedener Typen von Objekten [4]. Im Ergebnis liefert Intels Software eine eigentümliche Mischung der Bilder aus GTA V und dem Referenzmaterial. Wenn das neuronale Netz mit den Cityscapes-Videos trainiert wurde, zeigt es neben realistischeren Reflexionen von Lack und Glas einen Straßenbelag nach deutschem Standard, aber die Fahrbahnmarkierungen und Verkehrsschilder entsprechen weiterhin den US-Konventionen. Weit entfernte Hügel erscheinen bewaldeter als im GTA-Original, während die Bäume am Straßenrand weiterhin Palmen sind statt des typisch deutschen Straßenbegleitgrüns. Es sind noch immer die Schlagschatten der Palmen, die man auf der Straße sieht (5-8). Intels Verfahren gleicht die GTA-Bilder (jeweils links) dem Referenzmaterial an, hier Cityscapes [5–7] und Mapillary Vistas [8]; die Ergebnisse sind jeweils rechts zu sehen. Wie Stephan Richter erklärt, ist dieses Zusammenspiel nicht vorprogrammiert, sondern ergibt sich durch das Training des neuronalen Netzes: „Man könnte hier sicherlich einen größeren Einfluss nehmen, aber momentan funktioniert es so, dass die KI so etwas aus den Trainingsdaten lernt. Wir haben ein neuronales Netz, das zwischen den synthetischen, von GTA erzeugten Bildern und den realen Bildern zu unterscheiden lernt, und dieses nutzen wir wiederum als Feedback, um unsere Bildverbesserung zu trainieren. Dabei müssen wir eine Balance finden – die Bilder sollen einerseits möglichst realistisch sein, also möglichst nahe am Referenzmaterial, aber andererseits soll der Inhalt der CGI-Bilder erhalten bleiben. Was ausgetauscht wird, und in welchem Maße, hängt aber auch davon ab, wie wir die Parameter setzen.“ Die Anpassung an Eigenheiten des Referenzmaterials geht so weit, dass auch dessen Farbgebung übernommen wird (13, 14): „Dass die Bilder im Cityscapes-Datensatz – und damit auch unsere auf dieser Basis verbesserten Versionen – so grünlich aussehen (5-7), erklärt sich daraus, dass sie mit einer Kamera für die maschinelle Bildverarbeitung aufgenommen wurden. Die Fotos des Mapillary-Vistas-Datensatzes sind dagegen für die menschliche Wahrnehmung optimierte Smartphone-Bilder (8).“ Während Farbveränderungen hier unbeabsichtigt sind, ließe sich dieser Effekt auch für ein Color-Grading per künstlicher Intelligenz nutzen: Wenn man das neuronale Netz mit Bildern mit einem bestimmten Farblook trainiert, zeigt das verbesserte Ergebnis denselben Look. Halluzinationen Der Vergleich der gerenderten Szenen mit dem Referenzmaterial bietet viele Fallstricke, wie sich im Vergleich von Intels Resultaten mit denen konkurrierender Verfahren zeigt. Beim Abgleich der Szenen im Ganzen können kuriose Artefakte entstehen. Der Cityscapes-Datensatz beispielsweise enthält Aufnahmen durch die Windschutzscheibe eines Mercedes, und folglich ist am unteren Bildrand stets ein Mercedes-Stern auf der Motorhaube zu sehen. Systeme, die den Bildaufbau und auch solche Details zu übernehmen versuchen, neigen dann zu „Halluzinationen“ und fügen zur vermeintlichen Verbesserung solche Sterne ein (9). Das System CUT [9] halluziniert Mercedessterne aus den Referenzbildern, während MUNIT Bäume in den Himmel versetzt [10], Intels Verfahren [11] vermeidet solche Fehler. In GTA zeigt der Blick auf die Straße (a) keine Mercedessterne wie in den Cityscapes-Referenzbildern (c). Dagegen zeigt GTA mehr Himmel (b) als Cityscapes (d). Schon Unterschiede im Blickwinkel können hier zu Fehlern führen. Die Bilder aus GTA V zeigen beispielsweise am oberen Bildrand mehr Himmel, während dort in den Cityscapes-Bildern mehr Vegetation zu sehen ist (12). Ein naiver Verbesserungsversuch zaubert deshalb Bäume in den Bereich des Himmels (10). Das Ergebnis von Intels Verfahren hängt von den Referenzbildern ab, hier Cityscapes [13] und Mapillary Vistas [14]. Um solche Fehler zu vermeiden, setzt Intels Verfahren auf Vergleiche von jeweils äquivalenten Bildausschnitten statt von ganzen Bildern. Taucht beispielsweise ein Fahrradfahrer vor dem Auto auf, zieht das neuronale Netz einen Ausschnitt aus dem Referenzmaterial heran, der ebenfalls einen Fahrradfahrer zeigt (15). Dabei hilft ein an der Universität Oxford entwickeltes neuronales Netz zur Bildklassifizierung. Der generelle Bildaufbau bleibt damit unverändert, irrelevante Details bleiben unberücksichtigt und es kommt zu keinen Halluzinationen vermeintlich fehlender Objekte (11). Für das Training des neuronalen Netzes zieht Intel jeweils Bildausschnitte des Referenzmaterials (unten) heran, deren Inhalt dem der gerenderten Bilder ähnelt (oben) Temporale Stabilität Wenn eine Software Frame für Frame verbessert, besteht die Gefahr, dass für identische Objekte mal die eine und mal die andere Verbesserung gefunden wird. Die Bilder flimmern, weil Objekte im einen Frame hinzugefügt werden und im nächsten schon wieder verschwinden, oder in ganz unterschiedlicher Weise verbessert werden. Wenn im Hintergrund in Fahrtrichtung ein Baum auftaucht, dessen Gestalt, während er von Frame zu Frame an Größe zunimmt, auch immer deutlicher erkennbar wird, könnte er erst in eine Pappel und später in eine Zypresse umgewandelt werden. Die gewünschte temporale Stabilität von Frame zu Frame ließe sich erreichen, indem man eine einmal gewählte Zuordnung speicherte, aber Intels System kommt ohne ein solches Gedächtnis aus, wie Stephan Richter erklärt: „Viele machen es so, aber wir fanden es bemerkenswert, dass unser Verfahren Frame für Frame arbeitet und nicht weiß, was davor oder dahinter passiert, und trotzdem diese Stabilität hinbekommt. Bei anderen Methoden sieht man, dass die Verbesserungen eine große Zufallskomponente enthalten. Da wir auf die G-Buffer zurückgreifen und damit dem neuronalen Netz viele Informationen über die Szene bereitstellen können, spielt der Zufall bei uns eine geringere Rolle. Andere Verfahren werden eine Palme vielleicht einmal in eine Pappel und ein anderes Mal in eine Zypresse verwandeln, während wir über Informationen über Geometrie und Textur verfügen, die für die nötige Stabilität sorgen.“ Entwicklungsstand und Ausblick Das Projekt der Intel Labs dient bislang allein der Forschung und wurde nicht auf eine Anwendung hin entwickelt. „Unser Forschungsprototyp läuft derzeit mit ungefähr zwei Frames pro Sekunde, aber er ist noch nicht auf Geschwindigkeit optimiert“, schränkt Stephan Richter ein: „Es ging uns darum, zu zeigen, welche Bildqualität technisch möglich ist, und wir haben uns bisher nicht darum gekümmert, die Geschwindigkeit zu erhöhen und die Software wirklich in ein Computerspiel zu integrieren.“ Im praktischen Einsatz könnte eine Bildverbesserung durch neuronale Netze die 3D-Modellierung entlasten: „Wenn Sie eine KI haben, die gelernt hat, wie die Dinge realistisch aussehen, dann brauchen Sie weniger Arbeit in 3D-Modelle und Texturen zu stecken, weil am Ende ein neuronales Netz für die fotorealistische Anmutung sorgt.“ Wahrscheinlicher noch als eine Anwendung im Bereich von Computerspielen wäre allerdings die Unterstützung von Simulationssystemen, mit denen beispielsweise KI-Systeme zum autonomen Fahren trainiert werden: „Existierende Simulationsverfahren produzieren noch keine befriedigende Bildqualität. Da gibt es Autos, die durch die Stadt fahren, und Fußgänger, die umher laufen, aber das sieht nicht fotorealistisch aus. Auf einem qualitativ hohen Level ist eine Simulation des Verkehrsgeschehens noch nicht möglich und unsere Software könnte da eine Alternative bieten.“ Das Training autonomer Fahrzeuge soll eine Vielzahl komplexer Verkehrssituationen berücksichtigen, und eine KI-Fahrschule auf der Straße wäre zu zeitaufwendig und wohl auch zu gefährlich. Eine Simulation wiederum muss visuell äußerst realistisch sein, wenn der auf deren Basis erzielte Lernerfolg auch im realen Straßenverkehr unter Beweis gestellt werden soll. Photoshop-Anwender werden aber noch länger darauf warten müssen, bevor sie einer ersten Quick & Dirty-Version ihrer Bilder mit künstlicher Intelligenz ein fotorealistisches Finish geben können. Entscheidend für den Erfolg solcher Systeme ist das aufwendige Training des neuronalen Netzes mit Referenzdaten aus dem jeweiligen Gegenstandsbereich. Allein schon die geschickte Auswahl der Trainingsdaten spielt eine wichtige Rolle in der Entwicklung neuronaler Netze durch maschinelles Lernen, und überzeugende Ergebnisse für einen Bereich von Motiven lassen sich nicht so einfach auf andere Bereiche und komplexer aufgebaute Szenen übertragen. Von allgemeingültigen Rezepten für mehr Realismus sind wir noch weit entfernt – außer den Jahrhunderte alten Regeln für perspektivische Konstruktionen und die Gesetze des Schattenwurfs, die wir in DOCMA immer wieder behandeln. Weitere Infos unter: www.docma.info/22282

Als Abonnent einloggen

DOCMA 2GO abonnieren

Schreibe einen Kommentar Antwort abbrechen