Text-zu-Bild-Systeme: Wissenslücken der KI

Alle Bilder, sofern nicht anders angegeben: Stable Diffusion / Michael J. Hußmann Die Weiterentwicklung von Text-zu-Bild-Systemen macht so rasante Fortschritte, dass Fotografen und Illustratoren bereits um ihre Jobs fürchten – einerseits. Andererseits unterlaufen solchen KI-Systemen oft eklatante Fehler, die ihnen nur mühsam abzutrainieren sind. Michael J. Hußmann klärt die Frage, warum sich die KI in manchen Bereichen immer noch schwer tut. Obwohl die von KIs erzeugten Bilder von Monat zu Monat hochauflösender, detailreicher und realistischer zu werden scheinen, kommt es noch immer vor, dass die Kreationen bei genauerem Hinsehen befremdlich wirken: Gesichter und Körper erscheinen deformiert; Augen befinden sich nicht an der richtigen Stelle und die Zahl der Gliedmaßen oder deren Größenverhältnisse sind unstimmig – die Bilder wirken unfreiwillig surrealistisch. Warum kommt es noch immer zu so krassen Fehlern? Neuronale Netze, wie sie dem hier zur Illustration verwendeten Stable Diffusion (https://stability.ai) wie auch allen anderen Text-zu-Bild-Systemen zugrunde liegen, werden nicht im klassischen Sinne programmiert. Sie entstehen in Verfahren des maschinellen Lernens, in denen ihre tatsächlichen Ergebnisse mit den gewünschten Resultaten verglichen und die Verbindungen zwischen den simulierten Nervenzellen nach dem Prinzip von Versuch und Irrtum so lange verändert werden, bis sie ihre Aufgabe hinreichend gut erfüllen. Die fehlende dritte Dimension Eine entscheidende Beschränkung dieser KI-Systeme liegt nun schon darin, dass sie mit (zweidimensionalen) Bildern trainiert wurden. Diese Bilder stellen eine dreidimensionale Welt dar, worüber die neuronalen Netze jedoch nichts erfahren. Sie sehen Flächen, aber keine Formen, die Vorderseite von allem, aber weder die Rückseite oder das, was sich dazwischen befindet. Sie erfahren auch nicht, welche Aspekte der abgebildeten Objekte charakteristisch und welche bloß zufällig sind, sofern sich das nicht aus den Trainingsdaten generalisieren lässt. Die Katze, gegen die hier der Heilige Georg kämpft, wirkt kopflos, und das Pferd des Heiligen trägt seinen Kopf an der falschen Stelle. Wenn eine KI beispielsweise das Bild einer Katze erzeugen soll (1), kann sie nur auf das zurückgreifen, was das neuronale Netz aus den Fotos von Katzen gelernt hat. Auf solchen Bildern sind Tiere aus verschiedenen Perspektiven zu sehen, wobei nicht immer alle Gliedmaßen zu erkennen sind und die Länge der sichtbaren Körperteile aufgrund einer perspektivischen Verkürzung in die Irre führen kann. Erfahrungsgemäß reicht das nicht dazu aus, dass die KI den Körperbau einer Katze erschließen könnte; schon die Rekonstruktion eines 3D-Modells aus einem zweidimensionalen Foto wäre herausfordernd. Uns gelingt das ja nur, weil wir eben über Vorwissen über die Anatomie einer Katze verfügen, so dass sich diese in den sprichwörtlichen Schwanz beißt: Die zu erbringende Leistung der KI setzt Wissen voraus, das erst vorhanden wäre, nachdem die Erkennungsleistung erbracht worden ist. Solches Vorwissen erwerben wir schon in der Kindheit, und es umfasst praktisch alle Bereiche des täglichen Lebens. Wir lernen etwa, dass Autos typischerweise vier Räder meist gleicher Größe haben, von denen sich je zwei auf einer Achse drehen, und dass – außer in Sonderfällen – alle Räder auf einer Fläche, nämlich der Straßenoberfläche liegen. Uns ist klar, dass ein Schachbrett aus acht mal acht quadratischen, abwechselnd schwarzen und weißen Feldern besteht, und wenn wir eines zeichnen sollen, werden uns vielleicht kleine Fehler bei der Perspektive unterlaufen, und wir würden möglicherweise auch eine Stellung der Figuren zeichnen, die in einem Schachspiel gar nicht vorkommen kann – eine KI tut sich dabei jedoch noch deutlich schwerer (2). Weder die Zahl noch die Ausrichtung der Felder dieses Bretts entsprechen den Regeln des Schachsports. Der Mars, den hier eine Raumstation umkreist, scheint sich aufzulösen, denn der Sternenhimmel scheint hindurch. Selbst außerhalb unserer unmittelbaren Umwelt kennen wir uns aus, und würden beispielsweise Planeten stets als Kugeln zeichnen (3). Unser Weltwissen deckt dabei nicht nur spezielle Fälle ab, sondern beschreibt die Welt auch im Allgemeinen. Wir wissen, dass alles, was nicht fliegen oder schweben kann, typischerweise auf einem Boden steht, der es daran hindert, weiter herunterzufallen, dass sich Gegenstände typischerweise in einem Gleichgewicht befinden und dass sich Objekte normalerweise weder in einzelne Teile zerlegen noch mit anderen Objekten zusammenwachsen (4). Eine kaum wiederzuerkennende Patti Smith als – im Text nicht vorgegebenes – siamesisches Zwillingspaar spielt dreihändig und sechsfingrig Gitarre – und hat noch zwei Extra-Arme übrig. Unser Vorwissen beschränkt sich nicht auf die verschiedenen Objekte, die in einem Bild erscheinen könnten, sondern beschreibt auch den dreidimensionalen Aufbau unserer Umwelt, und wie er nach den Gesetzen der Perspektive erscheint. Wenn neuronale Netze oft Bilder mit stimmiger Perspektive synthetisieren, dann nur, weil sie mit perspektivisch stimmigen Bildern trainiert worden sind – eine Garantie ist das freilich nicht. Noch anspruchsvoller als Gegenstände des Alltags sind Figuren aus Mythen und Legenden, wie sie oft in der bildenden Kunst dargestellt wurden. Hier geht es nicht um eine physiognomische Ähnlichkeit, da ja keine reale Person gemeint ist, sondern um typische Attribute, die diesen Figuren traditionell zugeordnet werden. Der griechische Held Herakles wird beispielsweise mit einer Keule und dem Fell des nemeischen Löwen über seiner Schulter dargestellt, aber Stable Diffusion verzichtet auf diese Charakteristika und zeigt ihn lediglich als muskulösen Nackten (5). Die Schach spielenden Herkules-Figuren lassen ihre charakteristischen Attribute vermissen, also die Keule und das Fell des nemeischen Löwen, das Herkules sonst über der Schulter trägt. Der Heilige Sebastian spielt Tennis, aber wo sind die Pfeile, die seinen Körper durchbohren? Christliche Heilige werden oft durch die Art ihres Martyriums identifiziert; so erscheint der Heilige Sebastian traditionell als junger, nur mit einem Lendenschurz bekleideter Mann, dessen Körper von mehreren Pfeilen durchbohrt ist. Stable Diffusions Version lässt zwar erkennen, dass die KI auch mit Bildern dieses Heiligen trainiert worden ist, aber es fehlen die typischen Pfeile (6) – offenbar hat die KI deren Relevanz beim Training nicht erkannt. Auch Fantasiefiguren unserer Zeit wie Batman oder Hellboy bereiten Probleme; so fehlen der KI-Version von Hellboy zwar nicht die charakteristischen Hornstümpfe, nur hat er im Gegenteil zu viele davon – sogar anstelle der Augen, wie es im Aufmacherbild zu sehen ist. Im Stil von … Wenn eine KI versuchen soll, Bilder entsprechend einer bestimmten Kunstrichtung zu produzieren, bleibt sie an der Oberfläche und ahmt oft nur eine Art des Farbauftrags nach. Das neuronale Netz kennt ja auch nicht den Hintergrund, also die Ziele der Künstler, die die jeweilige Richtung begründeten. Die Surrealisten beispielsweise wollten die schöpferische Kraft des Unterbewussten für ihre Malerei anzapfen und trachteten mit verschiedenen Techniken danach, eine Zensur durch das Bewusstsein auszuschalten – unmöglich für eine KI, die kein Unterbewusstsein in diesem Sinne hat und nicht einmal die Konzepte von Bewusstem und Unterbewusstem kennt. Den Impressionisten war die Wiedergabe flüchtiger Eindrücke und Lichteffekte wichtiger als eine akademisch präzise Abbildung von Details; deshalb zogen sie auch die Freiluftmalerei der Arbeit im Atelier vor. Stable Diffusion, das davon nichts weiß und die Welt nicht mit dem Blick der Impressionisten betrachten kann – schon weil es überhaupt keine Welt kennt –, interpretiert die Vorgabe „Impressionismus“ stark simplifiziert so, als ob eine helle, kontrastarme Anmutung mit weichgezeichneten Konturen gewünscht sei (7). Die Ansicht von Helgoland (von Stable Diffusion als generische Insel dargestellt) sollte impressionistisch sein, ist aber bloß kontrastarm und weichgezeichnet. Vorgaben des Stils bestimmter Maler stoßen auf ähnliche Schwierigkeiten. Stable Diffusion kann zwar den Pinselstrich van Goghs reproduzieren, füllt dann aber den Himmel (und sogar das Meer) ohne triftigen Grund mit Sternen, wie sie der Maler in „Sternennacht“ und „Terrasse des Cafés an der Place du Forum in Arles am Abend“ gemalt hatte (8, 9). Dass Sterne nur an einen Nachthimmel gehören, zählt zum Weltwissen, über das die KI nicht verfügt. Über das Helgoland-Gemäle im Stil van Goghs hat die KI wahllos Sterne verstreut (8), wie sie der Maler beispielsweise in „Sternennacht“ dargestellt hatte (9). Eine allseitig gebildete KI Lassen sich diese Defizite in absehbarer Zeit beheben? Die neuronalen Netze von Text-zu-Bild-Systemen sind allein auf die Verknüpfung von Wörtern und Bildern trainiert, und auch ein erweiterter Lernprozess mit einer noch größeren Zahl von Bildern könnte an den beschriebenen grundsätzlichen Limitierungen nichts ändern. Wir verfügen über ein robustes Weltwissen in einem breiten Spektrum von Gegenstandsbereichen, einfach weil wir in dieser Welt leben und gelernt haben, darin zurechtzukommen. Neuronalen Netzen ist ein solches Wissen nur schwer zu vermitteln; zudem wäre auch dessen Verknüpfung mit existierenden Text-zu-Bild-Verfahren eine Herausforderung. Vermutlich müsste ein völlig neuer Ansatz zur Erzeugung von Bildern auf Basis einer Beschreibung gefunden werden, der diese Bilder nicht blind aus mit bestimmten Wörtern assoziierten Fragmenten zusammensetzt, sondern dazu gezielt das Wissen über die darzustellenden Motive nutzt.

Als Abonnent einloggen

DOCMA 2GO abonnieren

Schreibe einen Kommentar Antwort abbrechen