Grundlagen der Text-zu-Bild-Systeme: Lesen aus dem Kaffeesatz

Text-zu-Bild-Systeme sind nicht leicht zu durchschauen. Wie sie ihre verblüffenden Bildergebnisse, aber bisweilen auch eklatante Fehler produzieren, bleibt dem Anwender verborgen. Zu diesem Thema hat Michael J. Hußmann zwei ausgewiesene KI-Experten befragt – Dr. Thomas Käster, den technischen Direktor der Lübecker Pattern Recognition Company, und seinen Kollegen Kai Röhr. Michael J. Hußmann (MJH): Eure Software Excire analysiert Bilder: Man steckt hochaufgelöste Bilder als Input hinein und bekommt als Output einen Text – Schlagwörter, die den Inhalt der Bilder beschreiben. Bei der Bildsynthese ist es umgekehrt: Man steckt kurze Texte hinein und erhält als Output mehr oder minder hochaufgelöste Bilder. Was sind die Bausteine, aus denen ein neuronales Netz eine unüberschaubare Vielzahl von Bildern generieren kann? Dr. Thomas Käster (TK): Solche generativen Systeme sind um einiges komplizierter als eine KI wie unsere, die Bilder analysiert. Bei der Bildsynthese treffen verschiedene Welten aufeinander. Da ist einmal die Bildkodierung, bei der man versucht, Bilder mit einem mathematischen Verfahren kompakt darzustellen. Hinzu kommt der Prozess des Textverstehens. Dabei wird ein Eingabesatz in einen mathematischen Ausdruck überführt. 2017 fand eine Revolution in der Verarbeitung natürlicher Sprache statt, als Google die sogenannten Transformer entwickelt hatte. Vorher gab es rekurrente Netze (siehe Kasten auf der rechten Seite), die lange der Standard in der Textverarbeitung waren. Sätze wurden damit Wort für Wort abgearbeitet. Das funktionierte zwar gut, brachte aber den Nachteil mit sich, dass diese Verarbeitungsschritte nicht parallelisiert werden konnten. Damit waren diese Systeme nicht schnell genug, als dass man sie mit großen Textmengen hätte füttern können. Googles Transformer-Architektur revolutionierte die bisherigen Verfahren. In schneller Folge wurden danach große Sprachmodelle wie GPT-1 bis -3 von OpenAI oder BERT von Google entwickelt, die mit Texten von beispielsweise 2,5 Terabyte gefüttert worden waren. Entsprechend groß sind auch die so entstandenen Sprachmodelle. GPT-3 basiert auf einem Modell mit 175 Milliarden Parametern und einer Größe von 570 Gigabyte, das man nicht so ohne Weiteres in den Hauptspeicher eines Standard-PC laden kann. Diese Entwicklung ist eine der Grundlagen von Text-zu-Bild-Systemen. Die Kernidee dahinter ist, Texte und Bilder mathematisch zu repräsentieren und dann diese beiden Räume zusammenzubringen. „Batman auf der Elbphilharmonie“ (Bild: Michael J. Hußmann / Stable Diffusion) MJH: Im „Prompt“, also dem Text, mit dem ich der KI das zu erzeugende Bild beschreibe, kann ich ja auch komplexe Satzkonstruktionen verwenden. Wenn ich in Ausdrücken wie „Eine Katze auf einem Sessel“ oder „Eine Katze, die auf einem Sessel sitzt“ eine Beziehung zwischen einer Katze und einem Sessel beschreibe, werden diese dann tatsächlich erkannt und korrekt verstanden? TK: Ja, das ist der Unterschied zu den früheren Modellen. Die Transformer wurden ursprünglich für Übersetzungen genutzt. In solchen Systemen gibt es zunächst einmal einen Enkoder, der einen Satz in mehreren Schritten in eine mathematische Beschreibung überführt und dabei auch Kontextinformationen berücksichtigt. So wird etwa auch die Beziehung zwischen Subjekt und Prädikat mathematisch ausgedrückt. Die daraus gewonnene mathematische Darstellung ist dann der Input für ein Dekodermodul, das daraus Sätze in einer anderen Sprache erzeugt, so dass beispielsweise Deutsch in Englisch oder Französisch übersetzt wird. Das Ergebnis ist präziser als bei den rekurrenten Netzen. Diese analysieren nacheinander Wort für Wort und berücksichtigen daher immer nur das, was vorher gesagt wurde, während Transformer auch auf die folgenden Wörter im Satz zurückgreifen können. Ich habe viel mit DALL·E von OpenAI gespielt und wollte einmal ein Foto von zwei rosa Elefanten, die miteinander tanzen. DALL·E schlägt ja immer mehrere Bilder vor, und dabei konnte es passieren, dass „rosa“, das sich auf die Elefanten bezog, manchmal anderen Elementen zugeordnet wurde, so dass man beispielsweise einen rosa Hintergrund bekam. Das waren dann Fälle, in denen Kontextinformationen zwar wirksam wurden, nur dass die Zuordnung nicht stimmte. Rekurrente neuronale Netze In einfachen neuronalen Netzen wird der Input von simulierten Neuronen verarbeitet, die daraus den dazugehörigen Output erzeugen. Ein solches Netz, bei dem die Daten nur in einer Richtung vom Eingang zum Ausgang fließen, hat kein Gedächtnis: Was für ein Output zu einem Input erzeugt wird, ist unabhängig davon, welche Inputs das Netz vorher verarbeitet hat. Bei einem rekurrenten Netzwerk wird dagegen ein Teil des Outputs zurückgekoppelt und wieder als Input eingespeist. Auf diesem Wege erhält das neuronale Netz ein Gedächtnis, da jeder Verarbeitungsschritt auf die Ergebnisse vorheriger Schritte zurückgreifen kann. Wenn ein rekurrentes Netz für die Sprachverarbeitung einen Satz wie „Die Katze schläft“ verarbeitet, werden nacheinander die einzelnen Wörter „Die“, „Katze“ und „schläft“ als Input eingespeist, aus denen das Netz jeweils eine mathematische Repräsentation erzeugt. Da diese wieder als Teil des Inputs eingespeist wird, kann sie das Netz mit jedem weiteren Wort erweitern, bis am Ende eine Repräsentation des Satzes entstanden ist. Aufgrund der sequentiellen Verarbeitung ist ein rekurrentes Netz allerdings recht langsam, und auch das Training, in dem die Parameter des Netzes festgelegt werden, benötigt sehr viel Zeit. MJH: Bei meinen Experimenten mit Stable Diffusion wollte ich unter anderem ein Bild von „Batman auf dem Dach der Elbphilharmonie“ haben. Ich bekam auch den gewünschten Batman, aber die Hamburger Elbphilharmonie war dem System nicht bekannt. Seltsam war nun aber, dass Stable Diffusion beispielsweise Luftbilder einer generischen Hafenstadt erzeugte, und manchmal ein Dach, das zwar nicht das Dach der Elbphilharmonie war, aber doch eine ähnlich geschwungene Form hatte. Es sah so aus, als hätte jemand, der schon viel von der Elbphilharmonie gehört, sie aber noch nie gesehen hat, ein Bild davon zeichnen sollen. Was könnte dahinter stecken? TK: Das Problem ist, dass die Text-zu-Bild-Systeme ja mit großen Datenmengen gefüttert werden müssen. Man fängt also an, das Web zu durchsuchen, und nutzt alles an Bildern und dazugehörigen Texten, an das man heran kommt. So große Datenmengen kann niemand mehr kuratieren, und das ist auch das Problem von Google, Facebook oder OpenAI: Die unüberschaubare Menge der automatisch akquirierten Fundstücke schaut sich niemand mehr an, und so weiß man gar nicht, was man gefunden hat. Das können auch rassistische oder politisch extreme Texte sein; das Material ist ein Spiegelbild der durchsuchten Seiten. Daher zögern viele Unternehmen, ihre Software als Open Source bereitzustellen. Stable Diffusion ist in dieser Hinsicht eine Ausnahme. Dessen Hersteller hat sein System als Open Source veröffentlicht, und was für eine Dynamik sich daraus entwickelt hat, hatte ich noch nicht erlebt. Es ist einzigartig wie schnell auch Weiterentwicklungen entstanden sind. Dabei weiß im Grunde keiner, was im Detail dahinter steckt. Das sogenannte „Prompt Engineering“, also die Kunst, die KI mit den richtigen Formulierungen dazu zu bringen, das gewünschte Bild zu produzieren, ist eine Art Schatzsuche. Wer Illustrationen braucht, wird auf diesem Wege oft geeignete Ergebnisse erhalten, aber eine Marketingfirma, die mit der KI-Bildsynthese ein professionelles Fotoshooting überflüssig machen möchte, wird damit kaum Erfolg haben. Glaubwürdige Bilder von Menschen beherrschen die Systeme noch nicht so gut. Da gibt es Artefakte, die sich unter anderem bei den Händen und in den Gesichtern zeigen, vor allem bei den Augen, die beispielsweise nicht in die richtige Richtung schauen. MJH: Wie läuft der Prozess der Bildsynthese konkret ab? TK: Die Bildgenerierung beginnt mit der mathematischen Darstellung eines Bildes, das komplett aus Rauschen besteht, sowie dem Prompt des Benutzers. Beides wird miteinander kombiniert, und dann wird dem verrauschten Bild schrittweise Rauschen abgezogen, bis man schließlich einen Zustand erhält, den ein Dekoder in ein Bildergebnis überführen kann. Aufgrund der großen Parameterzahl solcher Systeme gibt es sehr viele Freiheitsgrade, welchen Weg man – geleitet durch den Prompt – einschlagen kann, und entsprechend viele Bilder, die dabei heraus kommen können. Kai Röhr (KR): Das ist wie beim Kaffeesatzlesen, bei dem man alles erkennen kann, was man will. MJH: Es gab ja den Fall des Google-Mitarbeiters Blake Lemoine, der nach Gesprächen mit dem Chatbot LaMDA auf die unglückselige Idee verfiel, dass Google eine KI mit echtem Bewusstsein geschaffen hätte. Dabei hatte er das System durch seine Fragen provoziert, das zu liefern, was er erwartet hatte – es gab nur zurück, was Menschen vorher zum Thema des Bewusstseins von Maschinen geschrieben hatten. TK: Ja, und das ist bei Text-zu-Bild-Systemen ähnlich. Es entsteht zwar einerseits etwas Neues, in dem man andererseits aber auch Bekanntes wiederentdeckt. Es gibt eine Entwicklung von Google, mit der man dem System eigene Konzepte antrainieren kann. Man steckt fünf bis zehn Bilder von etwas hinein, das einen interessiert, und gibt dem einen Namen. Wenn Du also Bilder von Dir verwendest, kannst Du sagen, ich möchte Michael Hußmann als Jedi-Ritter in einer Sandwüste sehen. Das generierte Bild zeigt Deine Gesichtszüge, aber es lässt sich auch ein gewünschter Stil vorgeben, etwa orientiert an den Arbeiten eines bestimmten Künstlers. Das ist schon beeindruckend, wenn man die Ergebnisse sieht, aber nachzuvollziehen, wie das System genau dorthin kommt, ist schwierig, weil es so viele Parameter gibt. Das System hat gelernt, was die Konzepte von Michael Hußmann, einem Jedi-Ritter und einer Sandwüste ausmacht, und schafft es, diese in einem Bild zusammenzubringen. MJH: Kommen wir aber noch einmal zur Erzeugung von Bildern aus Rauschen zurück. Wie funktioniert die Verknüpfung des Prozesses, der aus Rauschen wieder Bilder macht, und dem Prompt? Wo hakt sich da die Textvorgabe ein? KR: Dabei spielt ein Prinzip eine Rolle, das als „Attention“, also Aufmerksamkeit bezeichnet wird. Das kommt eigentlich aus dem Bereich der natürlichsprachlichen Systeme, wurde aber für die Bildsynthese adaptiert. Diese „Attention“ kann von einem Prompt gesteuert werden und gibt dann vor, in welche Richtung der Prozess geht. TK: Man kann sich an einem Beispiel aus dem Bereich der Sprache veranschaulichen, was mit „Attention“ gemeint ist. Nehmen wir den Text: „Gestern hat man mir bei meiner Bank gesagt, dass mein Konto leer ist. Danach musste ich mich auf die Bank am See setzen, um mich von dem Schock zu erholen.“ Zweimal ist von einer Bank die Rede, und man muss unterscheiden zwischen der Bank als Geldinstitut und der Bank, auf der man sitzen kann. Ein System vom Transformer-Typ lernt, dass ein Begriff wie „Konto“ charakteristisch für die Bedeutung von „Bank“ als Geldinstitut ist, während „sitzen“ mit „Bank“ als Sitzgelegenheit assoziiert ist. Der Kontext wird in die Kodierung mit einbezogen. Bei Diffusion-Systemen passiert etwas Ähnliches. So kann ein Prompt steuern, auf welche von vielen möglichen Weisen das Rauschen in jedem Schritt reduziert wird. Schließlich kommt man zu einem Punkt, an dem man die mathematische Darstellung in ein Dekodernetz einspeisen kann. Wie bei den sprachverarbeitenden Transformern gibt es also einen Enkoder, der eine mathematische Beschreibung eines Bildes erzeugt, und einen Dekoder, der daraus wieder ein Bild macht. Wie bei einem Kompressionsverfahren sollte das Ergebnis möglichst identisch mit dem ursprünglichen Bild sein. Systeme wie DALL·E setzen dann in einem letzten Schritt noch Superresolution-Verfahren ein, um das Bild auf eine höhere Auflösung zu skalieren. MJH: Die Bildauflösungen, die solche Systeme erreichen, sind also nicht immer das Ergebnis des neuronalen Netzes, sondern einer Skalierung zu verdanken? TK: Ja, aber dabei sind erneut neuronale Netze am Werk; auch die Skalierung basiert auf einem Enkoder/Dekoder-Ansatz. Das ist mit Software wie Gigapixel AI von Topaz vergleichbar, die ganz ähnlich arbeitet. Man muss sich noch einmal vergegenwärtigen, wie aufwendig das Training der neuronalen Netze eines Text-zu-Bild-Systems ist. Die Entwickler von Stable Diffusion beispielsweise haben 32 Server mit je acht A100 Grafikprozessoren von Nvidia benutzt. Ein einzelner Server kostet 140000 Euro, und sie hatten 32 davon. Und das ist nur die Hardware, deren Betrieb ja auch noch Kosten verursacht, einen CO2-Fußabdruck hat und so weiter. Es ist faszinierend, wie es ihnen gelungen ist, das als Open Source zu realisieren, so dass wir es alle auf unseren Rechnern installieren und nutzen können. Wir könnten so etwas bei uns nicht trainieren – keine Chance. MJH: Aus welcher Richtung sind künftig noch weitere Fortschritte zu erwarten? Müssen wir abwarten, bis Nvidia seine Grafikprozessoren noch weiter optimiert hat, oder kann man neue Verfahren entwickeln, mit denen sich vielleicht die gleichen Ergebnisse auf einer leistungsschwächeren Hardware erzielen lassen? TK: Die Systeme werden immer größer, und mit der Zahl der Parameter wachsen auch die Datenmengen, die in der Trainingsphase verarbeitet werden müssen. Das ist ein Riesenproblem. Man braucht Bezugsquellen für die Daten, muss sie herunterladen und speichern, und wir bewegen wir uns hier in Größenordnungen, wo man die Datenmassen erst einmal vorverarbeiten muss, damit sie sich überhaupt handhaben lassen. KR: Dadurch, dass Stable Diffusion nun in Richtung Open Source gegangen ist, hat die Community jetzt diesen Hackergedanken entwickelt, und versucht, aus den vorhandenen Modellen mehr herauszuholen oder sie zu verbessern. Es könnte sein, dass sich solche Verbesserungen dann auch auf die Forschung positiv auswirken und künftig noch größere Modelle trainiert werden können oder die Modelle kompakter werden. Es war ja auch eines der Ziele der Forschergruppe, die dahinter steht, diese Entwicklung zu demokratisieren. Dabei ist es entscheidend, Anwendungen zu haben, die einen praktischen Nutzen bringen. Bei Text-zu-Bild-Systemen ist das eher der Fall als bei natürlichsprachlichen Systemen wie GPT-3 – da ist mir noch keine Anwendung untergekommen, die im Alltag einen Mehrwert hätte. MJH: Ich danke für das aufschlussreiche Gespräch! Wie die Illustration des Artikels entstand Kai Röhr beschreibt, wie er mit Hilfe von Stable Diffusion das Aufmacherbild auf Seite 70 produziert hat: Die ursprüngliche Idee bestand darin, Yggdrasil zu generieren, den Weltenbaum der nordischen Mythologie. Daran sollten Glaskugeln hängen, und ich wollte für jede der Glaskugeln eine eigene kleine Welt erzeugen. Das hat leider nicht so gut geklappt. Der zuletzt dafür verwendete Prompt war: „Ben lo illustration of the colossal world tree yggdrasil from norse mythology in the distance, flowers, metal, stone, gold, silver, waterfall, craftsmanship, glass spheres, colorful, biblical, ornate, intricate, unreal engine, hyper realism, realistic shading, cinematic composition, realistic render, octane render, detailed textures, photorealistic, ultra wide shot, 3:2“. Irgendwann kam bei den Versuchen Bild 1 heraus, das mir gefiel. Im Folgenden habe ich den img2img-Modus genutzt, in dem vorgegebene Bilder im Sinne eines Textprompt modifiziert werden. Aus dem zuvor generierten Bild erzeugte ich mit dem ursprünglichen Prompt Variationen, und ein Ergebnis war Bild 2. Bild 3 ist eine per KI hochskalierte Version davon, gefolgt vom sogenannten Inpainting einzelner 512 × 512 Pixel großer Ausschnitte, bei dem Bildteile übermalt werden. So sind Hunderte von Bildern entstanden, von denen ich die besten in Affinity Photo zusammengesetzt habe. Bei einem weiteren Hochskalieren traten Probleme mit einer falschen Tiefenunschärfe auf. Ich habe dann einen Algorithmus geschrieben (www.docma.info/22637), der das Bild in Teilbilder zerlegt und mit niedriger Einstellung durch img2img schickt. Dafür hab ich den Prompt „landscape, norse runes, flowers, viking aesthetic, very detailed, intricate, by Jacob van Ruisdael“ verwendet, der noch einmal eine stilistische Änderung bewirkt hat (4). Die finale Version auf Seite 70 entstand nach weiterem Inpainting, Hochskalieren und etwas manueller Nachbearbeitung in Affinity Photo. Das Eichhörnchen Ratatöskr auf der Weltenesche war der finale Touch. Alle Bilder auf dieser Seite: Kai Röhr / Stable Diffusion

Als Abonnent einloggen

DOCMA 2GO abonnieren

Schreibe einen Kommentar Antwort abbrechen