Künstliche Intelligenz: Landschaftsbilder auf Zuruf

Wer ein Bild mit bestimmten Eigenschaften braucht, konnte es bisher selbst fotografieren oder bei einem Stockfoto-Anbieter auf die Suche nach einem geeigneten Motiv gehen. Künftig könnten neuronale Netze solche Bilder auf Zuruf generieren – man muss ihnen nur sagen oder skizzieren, was man benötigt, und die Künstliche Intelligenz erfüllt fast alle Wünsche – auch völlig absurde. | Michael J. Hußmann Nicht nur uns DOCMA-Redakteuren geht es gelegentlich so: Wir brauchen ein Foto, sei es als Aufmacher, als Illustration oder als Versatzstück in einer Montage – aber woher nehmen, wenn man nichts Passendes im eigenen Archiv findet? Für ein Strandmotiv kurz auf die Seychellen zu jetten, wäre nicht wirklich praktikabel, und so bleiben Stockfotos, unter denen man erst einmal etwas finden muss, das den eigenen Vorstellungen nahe kommt und sich idealerweise für kleines Geld lizenzieren lässt. Dabei stand uns das Bild, das wir suchten, doch schon lebhaft vor Augen – wie könnte man daraus auf einem direkteren Weg ein Digitalbild machen? Verfahren der Künstlichen Intelligenz zeigen neuerdings einen Lösungsweg auf. Man braucht die gewünschte Szene nur grob zu skizzieren, und ein neuronales Netz berechnet daraus eine fotorealistische Version. Der Grafikkarten-Hersteller Nvidia verfolgt schon seit längerer Zeit sein GauGAN-Projekt (www.docma.info/22382) – der Name soll an den Maler Paul Gauguin erinnern, bezieht sich aber auch auf die hier eingesetzte Architektur der „Generational Adversarial Networks, kurz „GAN“. In einem GAN arbeiten während der Lernphase zwei Netze gegeneinander: Eines wird trainiert, die eigentliche Leistung zu erbringen, während ein anderes lernt, den Output des ersten Netzes mit realen Bildern zu vergleichen und auf dieser Basis immer treffender zu kritisieren. Nvidias Interesse an KI-Projekten rührt daher, dass sie es können: Grafikprozessoren mit Tausenden von parallel arbeitenden Prozessorkernen sind auch ideal dazu geeignet, neuronale Netze zu simulieren, und sind daher die bevorzugte Hardware für das Training solcher Netze. Nach einer groben Skizze hat GauGAN2 diese Strandansicht erzeugt. Die Herkunft des dunklen Flecks unten rechts bleibt rätselhaft. GauGAN2 kann nach dem Vorbild eines Fotos ähnliche Bilder generieren, aber es genügen auch schon grobe Skizzen, in denen man die Stellen markiert, an denen es beispielsweise Strand, Himmel, Wolken, Bäume oder Berge geben soll (1) GauGAN2s Königsdisziplin ist allerdings, ein Bild aus einer englischsprachigen Beschreibung wie „Blue sky over the beach“ zu generieren (2). Wer einen Windows-PC mit einer Nvidia-RTX-Grafikkarte besitzt, kann dies mit der „Studio Canvas“-App (www.docma.info/22383) ausprobieren; eine browser-basierte Version steht auf www.docma.info/22384 auch allen anderen zur Verfügung. An solchen Projekten wird derzeit von vielen Forschungseinrichtungen gearbeitet. OpenAI beispielsweise hat DALL·E entwickelt (www.docma.info/22385), benannt nach Salvador Dalí und dem Roboter WALL·E aus dem gleichnamigen Pixar-Film. Dieses System generiert aus – teilweise recht komplexen – Beschreibungen dazu passende Bilder. Was können solche KI-Lösungen heute bereits leisten, woran scheitern sie noch und worin liegen ihre Beschränkungen? Als Interpretation von „Blue sky over a beach“ hat GauGAN2 unvereinbare Perspektiven in einem Bild kombiniert. Grenzen der Fantasie GauGAN2 wurde mit Millionen von Landschaftsfotos trainiert, deren Elemente sich als Versatzstücke zu immer neuen Bildern kombinieren lassen, aber es kann nichts produzieren, das es nie gesehen hat, und große Teile der Welt sind ihm anscheinend unbekannt. Wenn man eine Wüstenlandschaft (englisch „desert“) verlangt, wird das generierte Bild unweigerlich an Arizona erinnern, nicht an die Sahara oder die Wüste Gobi, und darin platzierte Bäume werden keine Palmen. GauGAN2 kann zwar verschiedene Motive in einem Bild kombinieren, beispielsweise „A desert with mountains in the background“, aber wenn man eine Flusslandschaft erzeugen möchte, tut sich das System schwer – der Fluss ähnelt dann einer Straße oder ist gar nicht zu erkennen (3). Generell geraten Kombinationen, die in dieser Form real vorkommen und in den Trainngsdaten enthalten waren, realistischer, als wenn man mit GauGAN2 fantastische Welten zu erschaffen versucht. Der Fluss, den das neuronale Netz in die Berglandschaft eingefügt hat, wirkt wenig realistisch. Den Versuch, einen Dolmen zu skizzieren, versteht GauGAN2 falsch, da die dritte Dimension unberücksichtigt bleibt. Das System ist darauf trainiert, Bilder zu erzeugen, keine dreidimensionalen Szenen. Auch die Skizzen, in denen man Kategorien wie „Berg“, „Baum“ oder „Wolke“ auswählt und mit einem Pinsel- oder Füllwerkzeug die Flächen in das Bild malt, in denen solche Elemente erscheinen sollen, haben nur zwei Dimensionen. Die Tiefenstaffelung lässt sich nicht andeuten, und man muss sich darauf verlassen, dass sich aufgrund des Trainings mit realen Fotos ein stimmiger Bildaufbau ergibt. Das ist nicht immer gewährleistet: Manchmal ragt ein ebener Teil einer Landschaft steil in den Himmel, weil die KI eine Ansicht aus der Vogelperspektive und ein Foto aus Augenhöhe miteinander verquickt (2). Es fehlt auch an Wissen darüber, welche typische Gestalt verschiedene Objekte haben. Das zeigt sich, wenn man ein weiteres Feature des Systems nutzt und ein reales Foto lädt, um es von GauGAN2 analysieren zu lassen und daraus wiederum ein neues Bild zu generieren. Die erkannten Konturen von beispielsweise einer Kuh werden mit mehr oder minder kuhförmigen Details gefüllt, aber das Ergebnis sieht aus wie eine Kreatur Frankensteins (5,6). Jedes Bildergebnis kann GauGAN2 mit verschiedenen Lichtstimmungen rendern, wobei ein Schwerpunkt der vorgegebenen Stile bei Sonnenauf- und -untergängen, nächtlichen Szenen und Nebel liegt. Einige dieser Varianten lassen vorhandene Mängel weniger offensichtlich hervortreten, da sie der Nebel oder die Dämmerung kaschiert. Wenn GauGAN2 keinen Anhaltspunkt für die Bildkomposition findet, da es in dem im Training präsentierten Bildmaterial kein passendes Vorbild gab, werden vorgegebene Formen – hier die einer Kuh – mit teils kuh-artigen [5], teils völlig surrealen Versatzstücken [6] gefüllt. | Bilder: GauGAN2 / Nvidia GauGAN2 ist auch kaum in der Lage, Beziehungen zwischen Wörtern zu erkennen, so dass zwar alle Substantive berücksichtigt, Verben und Präpositionen aber offenbar ignoriert werden. Je präziser man weiß, was man will, und je ungewöhnlicher die eigenen Vorstellungen sind, desto eher wird das System an der Textinterpretation scheitern und ein unbefriedigendes Resultat abliefern. Selbst wenn die Vorgabe hinreichend gut verstanden wird, zeigt GauGAN2 Schwächen, wenn es die verschiedenen Elemente in einen plausiblen Zusammenhang bringen soll. Unmögliches möglich machen Das DALL·E-System von OpenAI ist auf die Umwandlung von Text in Bilder beschränkt, leistet in dieser Disziplin jedoch mehr als GauGAN2. Es wurde mit 250 Millionen Fotos und den dazugehörigen Bildunterschriften trainiert, wobei der Input des neuronalen Netzes nicht allein die Texte waren, zu denen es ein Äquivalent des zugehörigen Bildes generieren sollte. Vielmehr bestand der Input in der Trainingsphase aus Bild und Text; die Aufgabe des neuronalen Netzes lag darin, durch Abstraktion eine interne Repräsentation dieser Inputs zu konstruieren, aus der sich neue Bilder erzeugen lassen. Auf Basis solcher Abstraktionen hat das neuronale Netz Fähigkeiten erworben, die gar nicht Teil des Lehrplans waren. So kann man DALL·E Bilder eines Tapirs generieren lassen, der die Form eines Akkordeons hat, und das System wird verschiedene Varianten finden, beides in einem Objekt zu vereinigen (7). Das neuronale Netz in DALL·E hat keine Schwierigkeiten, einen Tapir in Gestalt eines Akkordeons zu imaginieren. Einfachere Aufgaben, wie einer Katze einen Hut, eine Fliege, eine Sonnenbrille oder Kopfhörer aufzusetzen, bereiten DALL·E erst recht keine Probleme. Auch besondere Perspektiven wie eine Vogelperspektive oder eine Fisheye-Ansicht lassen sich auswählen und werden überzeugend umgesetzt (9). DALL·E gelingt es oft, wenn auch nicht in allen vorgeschlagenen Varianten, wie gefordert einen Fuchs in einer Fisheye-Perspektive abzubilden. Das neuronale Netz beherrscht auch, anders als GauGAN2, Ansätze der sogenannten Variablenbindung: Wenn es eine Zeichnung eines Baby-Igels in einem Pullover mit weihnachtlichem Muster erzeugen soll, der einen kleinen Hund Gassi führt, dann versteht die KI prinzipiell, dass der Igel und nicht der Hund den Pullover tragen soll. Jedenfalls funktioniert dies in vielen Fällen; manchmal allerdings bekommt auch der Hund einen Pullover, oder am Ende der Leine befindet sich statt des Hundes ein weiterer, kleinerer Igel (8). Solche noch weiter auszubauende Leistungen erfordern nicht nur eine aufwendigere Textanalyse, sondern vor allem die Fähigkeit der KI, komplexe Zusammenhänge zwischen den Elementen einer Szene zu repräsentieren. DALL·E s Illustrationen eines Baby-Igels in einem weihnachtlich gemusterten Pullover, der einen Hund Gassi führt. Auch DALL·Es Fähigkeiten können Sie im Browser ausprobieren (www.docma.info/22385). Allerdings ist hier keine freie Texteingabe möglich; es lassen sich nur Varianten verschiedener Mustersätze wählen. Das System erzeugt dann jeweils eine große Zahl von Varianten. Die Auflösung der generierten Bilder ist leider so gering, dass sie noch nicht für praktische Anwendungen in Betracht kommen. Wunsch und Wirklichkeit Der Vorstellung, man müsse nur klar formulieren, was für ein Bild man sich wünscht, damit ein KI-System dieses produziert, wird der aktuelle Stand der Forschung noch nicht gerecht. Selbst wenn die generierten Bilder in sich stimmig sind und realistisch wirken, sind sie für die meisten Anforderungen noch zu gering aufgelöst. StyleGAN2 von Nvidia erzeugt ziemlich realistische Porträts nicht existierender Personen. Mit StyleGAN2, einem weiteren KI-System Nvidias, lassen sich sehr realistische Porträts produzieren, wovon man sich unter thispersondoesnotexist.com überzeugen kann – jeder Aufruf dieser URL ergibt ein neues, lebensecht wirkendes Porträt eines Menschen, der nicht existiert (10). Dieser Erfolg ist vor allem dadurch zu erklären, dass alle menschlichen Gesichter die prinzipiell gleiche Form haben – die relativen Positionen von Augen, Nase und Mund lassen nur wenig Spielraum. Schon die vom gleichen System erzeugten Bilder von Tieren haben eine schlechtere Qualität, weil es hier weit mehr Variabilität gibt. Da StyleGAN2 ebenso wenig wie GauGAN2 über Wissen zu den dargestellten Motiven verfügt, zeigen beispielsweise die generierten Pferdebilder zwar pferdeartige Details, aber nicht immer den Körperbau eines Pferdes. Auch Landschaftsbilder sind zu vielgestaltig, als dass es einfache Lösungen gäbe. Grundsätzliche Fortschritte solcher KI-Systeme werden wir vermutlich erst dann sehen, wenn sie sich auf ein enzyklopädisches Wissen über Menschen, Tiere, Pflanzen wie auch unbelebte Motive wie Berge, Häuser oder Maschinen stützen können, und dazu auf das Wissen über die Gesetze der Perspektive. Bevor wir uns von einer KI maßgeschneiderte und lizenzfreie Landschaftsbilder auf Zuruf generieren lassen können, werden wohl noch ein paar Jahre vergehen.

Als Abonnent einloggen

DOCMA 2GO abonnieren

Schreibe einen Kommentar Antwort abbrechen