Wie komme ich ins neuronale Netz?

Bild: Christoph Künne mit Midjourney Manche argwöhnen ja, dass wir in einer Simulation leben, die auf einem Computer in der realen Welt läuft – falls nicht auch diese bloß eine Simulation ist. Aber sich selbst, und sei es nur das eigene äußere Erscheinungsbild, in ein KI-System zu implantieren, erfordert dann doch einigen Aufwand. Michael J. Hußmann zeigt, wie es geht. Text-zu-Bild-Systeme kann man mit geeigneten Prompts dazu bringen, Bilder nicht existenter Personen zu erzeugen, und sofern das von den Entwicklern nicht bewusst unterbunden wird, ist es auch möglich, Prominente in den generierten Bildern auftreten zu lassen. Mit weniger bekannten Menschen funktioniert das naturgemäß nicht, denn diese hat auch die KI noch nie gesehen. Wenn man sich selbst oder seine Freunde in ein Bild einbauen möchte, scheint der Weg also nur über die klassische Montage zu führen. Dabei wäre es eine attraktive Alternative zur konventionellen Fotografie, für einen Kunden ein KI-Replikat seiner selbst zu erzeugen, das sich dann in prinzipiell beliebige Szenen versetzen ließe. Solche Replikate bestimmter Personen wären auch nötig, wenn man mit den KI-Bildern eine Geschichte erzählen möchte, in der ja immer wieder dieselben Charaktere auftreten müssten. Tatsächlich ist so etwas möglich. Als Ausgangspunkt nimmt man dazu ein bereits austrainiertes neuronales Netz (ein sogenanntes Modell, siehe Seite 68 ff.) und schickt es erneut auf die Schulbank, damit es das Aussehen einer bestimmten Person und deren Namen lernt. Danach kann die so weitergebildete KI beliebige Ansichten dieser Person generieren, wenn man sie unter dem selbst gewählten Namen im Prompt erwähnt. Da das neuronale Netz alle seine ursprünglichen Fähigkeiten bewahrt hat, kann es den neu geschaffenen Charakter nun je nach Textvorgabe frisieren, einkleiden, in verschiedenste Szenerien versetzen und in diversen künstlerischen Stilen abbilden. Das funktioniert wohlgemerkt nicht nur mit Personen, sondern kann ebenso genutzt werden, um die KI mit neuen Objekten vertraut zu machen – einem bestimmten Auto beispielsweise oder sonst einem Gegenstand, der wiedererkennbar in mehreren Bildern erscheinen soll. Eine Voraussetzung dafür ist allerdings ein offenes System wie Stable Diffusion, dessen Modelle frei zugänglich sind. Wie Sie diese mit Hilfe der Dienste DreamBooth, Hugging Face und Google Colab weiter trainieren können, zeigen wir in den folgenden Schritten. Dazu könnte man prinzipiell den eigenen Computer nutzen, aber es empfiehlt sich, für einen überschaubaren finanziellen Einsatz, auf Rechenleistung in einer Cloud zurückzugreifen. Damit ist auch sichergestellt, dass unabhängig von der Ausstattung des eigenen PC oder Mac jeder Leser das beschriebene Verfahren nachvollziehen kann. 01 Lehrmittel Als Trainingsdaten werden JPEGs mit 512 × 512 Pixeln benötigt, die die zu erlernende Person oder den Gegenstand zeigen. Dabei empfiehlt es sich, mindestens zehn Bilder des Gesichts, mindestens fünf Brustbilder und drei Gesamtansichten aufzunehmen. Diese sollten Sie freistellen, auf einem weißen Hintergrund platzieren und auf 512 × 512 Pixel skalieren. Als Farbraum sollte sRGB gewählt werden. 02 Speicherplatz in der Cloud Bevor das eigentliche Training beginnen kann, sind mehrere vorbereitende Schritte nötig. Sie benötigen unter anderem einen virtuellen Google Drive als Speicherplatz (a). Dazu legen Sie zunächst unter einem beliebigen Namen – Pseudonyme sind akzeptabel – ein Google-Konto an (b); mit unserem Kurzlink www.docma.info/22861 gelangen Sie direkt auf die richtige Seite. Damit bekommen Sie nicht nur eine Gmail-Adresse, sondern auch kostenlos nutzbare 15 Gigabyte Speicherplatz in Googles Cloud (https://drive.google.com/drive/my-drive), wenn Sie sich dort mit dem gerade angelegten Konto anmelden. 03 Hugging Face Hugging Face ist eine Plattform zum maschinellen Lernen, auf der Sie unter https://huggingface.co/join ein Konto einrichten müssen (a). Auch dies ist kostenlos. Geben Sie Ihre Mail-Adresse an – hier können Sie die zuvor eingerichtete Gmail-Adresse verwenden, wenn Sie unerkannt bleiben wollen – und vergeben Sie ein Passwort. Nachdem Sie den an die angegebene Adresse geschickten Bestätigungslink angeklickt haben, melden Sie sich bei Hugging Face an und gehen mit einem Klick in die »Settings« (b). 04 Ein Token generieren In den »Settings« von Hugging Face klicken Sie auf »Access Tokens« (a) und dann auf »New token« (b). Solche Token sind prinzipiell beliebige Symbole, die dem Datenaustausch dienen; an ihnen erkennen die verschiedenen hier genutzten Plattformen, worauf sich die anderen gerade beziehen. Als Name verwenden Sie „DreamBooth“ und als »Role« die Option „read“ (c). Nachdem Sie das Token mit einem Klick auf »Generate a token« erzeugt haben, sind die vorbereitenden Schritte abgeschlossen; das Training findet dann auf der Plattform Google Colab statt. Lassen Sie die Hugging-Face-Seite in einem Tab des Browsers geöffnet, da Sie später auf das eben erzeugte Token zurückgreifen müssen. 05 Google Colab Die Anmeldung bei Google Colab unter der URL https://colab.research.google.com/signup erfordert eine Entscheidung, wie Sie die Rechenleistung in der Cloud bezahlen wollen. Für erste Experimente mit dem Training eigener Stable-Diffusion-Modelle ist die „Pay as you go“-Option (a) dem von Google empfohlenen Abo vorzuziehen. Mit 100 Recheneinheiten für 11,01 Euro kommen Sie schon recht weit. Zum Bezahlen ist eine Kreditkarte nötig. 06 DreamBooth Für das Training eines Stable-Diffusion-Modells müssen Sie Programmcode ausführen, aber glücklicherweise brauchen Sie ihn nicht selbst zu schreiben – und Sie müssen nicht einmal verstehen, was der Code tut. Alle nötigen Code-Abschnitte finden Sie unter dem Link www.docma.info/22862 auf einer Webseite aufgelistet. Indem Sie nacheinander die Abspielknöpfe (a) jedes Abschnitts anklicken, führen Sie den Code aus. Warten Sie nach dem Start jedes Programmcodes, bis dessen Ausführung abgeschlossen ist und neben dem Abspielknopf ein grünes Häkchen (b) erscheint, bevor Sie den nächsten Abschnitt starten. Bei der Ausführung des ersten Code-Abschnitts erscheint eine Warnung, die Sie mit einem Klick auf »Trotzdem ausführen« quittieren (c). 07 Initialisierung Der erste Abspielknopf (a) auf der DreamBooth-Seite prüft lediglich, welche Hardware Ihnen für Ihr Geld zur Verfügung gestellt wird. Danach folgt ein weiterer Programm-Abschnitt unter »Install requirements« (b), der einige Initialisierungen vornimmt. Diesen Code führen Sie ohne weitere Anpassungen aus, indem Sie seinen Abspielknopf klicken. 08 Mit Hugging Face verbinden Für die Verbindung zwischen DreamBooth und Hugging Face wechseln Sie zur Huggin-Face-Seite. Um das zuvor generierte Token in die Zwischenablage zu kopieren, brauchen Sie nur auf das Kopieren-Symbol (a) zu klicken. Zurück in DreamBooth setzen Sie das Token im Textfeld »HUGGINGFACETOKEN« ein (b) und spielen den zugehörigen Code ab (c). 09 Allgemeine Einstellungen Unter »Settings and run« wählen Sie die Option »savetogdrive«, damit das Ergebnis auf Ihrem Google Drive gespeichert wird (a). Den Namen des als Ausgangspunkt verwendeten Modells (»MODELNAME«) lassen Sie unverändert, geben dem Ordner für die neuen Gewichte der Verbindungen zwischen den künstlichen Neuronen aber einen eigenen Namen. Ich habe hier „MJHDOCMA“ gewählt (b). 10 Trainingseinstellungen Im nächsten Programm-Abschnitt unter »Start training« sind vor der Ausführung einige Anpassungen nötig (a). Bei »instanceprompt« tragen Sie einen Prompt-Text ein, der die zu erlernende Instanz (also die bestimmte Person oder den Gegenstand, um den es geht) und deren Klasse benennt (hier ein Mann, oder wenn man geschlechtsneutral bleiben will, eine Person). Im Beispiel sind das „mjh“ beziehungsweise „man“. Der »classprompt« nennt dagegen nur die Klasse („man“). Auch den zur Speicherung im Modell verwendeten Unterordnern »instancedatadir« und »classdatadir« geben Sie passende eigene Namen (b). 11 Bilder hochladen Nun fehlt zum Training nur noch das Bildmaterial. Klicken Sie den Abspielknopf (a) und wählen Sie alle der im ersten Schritt vorbereiteten Bilder (b) zum Upload aus. 12 Training Der folgende Programm-Abschnitt startet das Traing des Modells. Geben Sie noch einen passenden Beispiel-Prompt an (b) und klicken Sie dann auf den Abspielknopf (a). Dank der genutzen schnellen Hardware in der Cloud müssen Sie nicht lange auf das grüne Häkchen neben dem Knopf warten; in meinem Fall dauerte es 16 Minuten. Damit hat das erweiterte Stable-Diffusion-Modell ausgelernt. Für dessen spätere Anwendungen sind nur noch einige kleine Anpassungen nötig. 13 Erster Test Für eine erste Überprüfung, ob das Training erfolgreich war, wählen Sie den zu verwendenden Ordner (weightsdir) im Modell aus. Weil das der zuletzt im Training genutzte Ordner ist, lassen Sie das Textfeld leer und spielen nur den Programmcode ab (a). Nun können Sie mit dem nächsten Abspielknopf die Generierung mit dem in Schritt 12 angegebenen Beispiel-Prompt starten (b). Falls keine Fehler aufgetreten sind, erscheinen Bilder der Person, mit deren Fotos das Modell trainiert wurde (c). 14 Konvertierung in das ckpt-Format Benutzerschnittstellen für Stable Diffusion wie AUTOMATIC1111 verwenden Modelle im ckpt-Format, in das Sie Ihr Modell noch umwandeln müssen. Schalten Sie aus Qualitätsgründen die Option »fp16« ab, die die Größe der Datei bei verringerter Genauigkeit halbieren würde, und klicken Sie den Abspielknopf für die Konvertierung (a). Führen Sie schließlich noch den Code unter »Inference« aus, der für die spätere Generierung von Bildern anhand von Prompts nötig ist (b). Das erzeugte Modell finden Sie auf dem Google Drive in dem von Ihnen vorgegebenen Ordner unter dem Namen „Model.ckpt“. Kopieren Sie diese zwischen 4 und 5 Gigabyte große Datei auf Ihre lokale Festplatte – zweckmäßigerweise nach „stable-diffusion-webui/models/Stable-diffusion“ im Benutzerordner, wo die Modelle für AUTOMATIC1111 liegen. 15 Bilder mit dem neuen Modell generieren Nachdem das Modell trainiert und im benötigten Format gespeichert ist, könnten Sie die DreamBooth-Seite verlassen. Der abschließende Programm-Abschnitt unter »Run for generating images« erlaubt Ihnen, Ihr Modell noch einmal mit verschiedenen Prompts zu testen. Falls Sie die Ergebnisse noch nicht zufriedenstellen, kehren Sie zu den bereits ausgeführten Schritten zurück und führen den Code – zum Beispiel mit anderen Trainingsbildern – erneut aus. Experimentieren Sie also mit verschiedenen Test-Prompts (a) und variieren Sie die frei wählbaren Parameter. Drei Ergebnisse des hier tranierten Modells zum Prompt „drawing of man mjh in manga style“ sehen Sie unten.

Als Abonnent einloggen

DOCMA 2GO abonnieren

Schreibe einen Kommentar Antwort abbrechen