Von der Idee zum starken KI-Video: Erst die Welt, dann die Kamera (2)

KI wird nicht gepromptet, sondern dirigiertKameramann, Beleuchter, Tonmeister, Szenenbildner sind die Spezialisten an einem Filmset. Der Regisseur ist derjenige, der für das richtige Zusammenspiel sorgt. Analog wie generiert. Einstieg Ob ich für KI-Video mit Shotlists arbeite, werde ich regelmäßig gefragt. Die Frage verrät die Erwartung dahinter: dass hier neue Regeln gelten würden, dass die Handgriffe der Filmproduktion mit generativen Modellen plötzlich hinfällig seien. Das sind sie nicht. Der Ablauf, dem ich heute folge, ist derselbe wie vor der KI. Idee und Story, dann die Welt, die Figuren, die Shotlist, das Bild, die Bewegung, am Ende der Schnitt. Gewechselt haben dabei lediglich die Werkzeuge, nicht aber die Schritte. Wer sie überspringt, bekommt trotzdem ein Video. Hübsch, aber oft eher austauschbar. Warum der Workflow trägt Ein Prompt beschreibt eine Szene. Worldbuilding baut eine Welt. Der Unterschied liegt in den Regeln – und darin, was passiert, wenn man eine davon bricht. John Wick: kein Töten auf dem Boden des Continental. Die Regel steht, bevor der erste Schuss fällt, und in dem Moment, in dem jemand sie bricht, weiß jeder im Saal, was das kostet. Das ist Worldbuilding und keine Kulisse. Ein KI-Film braucht das genauso wie ein gedrehter. Wer keine Welt hat, bekommt Bilder, die einzeln funktionieren und zusammen nichts erzählen. Machtverhältnisse, physikalische Regeln, was selbstverständlich ist und was undenkbar – all das wird vor der ersten Generierung festgelegt. Für den Ablauf hat diese Vorarbeit einen zweiten Effekt, einen ganz praktischen. Was ohnehin festgelegt wurde – Figuren, Locations, Look, Lichtstimmung – liegt anschließend als Beschreibung vor und lässt sich direkt in ein Set aus Referenzbildern übersetzen. Und dieses Set hält jeden folgenden Shot zusammen. Konsistenz über zwölf Einstellungen entsteht nicht, indem ich Shot für Shot nachprompte, bis es zufällig passt, sondern weil die Referenz vorher steht und sich jede Einstellung an ihr misst. Daher der Workflow, die Reihenfolge. Das Referenz-Set ist die Brücke zwischen der Welt und der Kamera. Fehlt die Welt, hat die KI-Kamera nichts, woran sie sich hält. 01 Story & Welt Hier fällt die Entscheidung über den Film, lange bevor der erste Pixel entsteht. Deshalb stecke ich in diesen Schritt die meiste Arbeit. Fünf Dinge werden hier festgelegt: Die Story-DNA: Transformation, Konflikt, Stakes, Thema. Das Worldbuilding: Machtstrukturen, physikalische Regeln, kulturelle Marker. Der Visual Style: Farbpalette, Lichtführung, Textur, Kamera. Die Figuren: Aussehen, Hintergrund, Rolle. Und die Locations, die den Schauplätzen ein festes Bild geben. Das läuft bei mir in einem Claude-Projekt mit eigenen Skills. Strukturiert und wiederholbar, aber ich dirigiere den Prozess, ich delegiere ihn nicht. Das Modell baut die Welt nicht, es hilft mir, sie präzise aufzuschreiben. Ja, das ist der unspektakulärste Schritt im kompletten Ablauf. Kein beeindruckendes Ergebnis zum Vorzeigen, nur Text. Daher ist es auch der, der am häufigsten übersprungen wird. Der fertige Clip verrät es dann eigentlich sofort. 02 Vom Text zur Bildreferenz Am Ende gibt mir mein Claude-Projekt noch die komplette Shotlist aus. Erst dann werden aus Text erste Bilder. Mein Claude KI-Bildprompt-Skill schreibt mir dafür die Prompts für alle Referenzbilder. Ich teste die Prompts mit mehreren KI-Bildmodellen und wähle die mir am besten gefallenden Ergebnisse aus. Ich generiere davon jeweils unterschiedliche Ansichten sowie die Startframes für die Videosequenzen - wobei ich inzwischen kaum noch mit einzelnen Startbildern und Image-to-Video arbeite, sondern mit mehreren Referenzbildern und References-to-Video. Das Modell Seedance 2.0 hat hier neue Maßstäbe gesetzt. 03 Vom Bild zur Bewegung Jetzt erst kommt die Kamera ins Spiel. Mein KI-Videoskill schreibt die Prompts für die Videosequenzen, häufig sogenannte Multi-Prompts, die mehrere Szenen in einen einzigen Clip packen. Derzeit sind das 15 Sekunden, die nächste Modellgeneration wird aktuell mit dem Doppelten ausgerollt. Die Prompts mit den Referenzbildern werden dann von Seedance in Bewegung gebracht. Und wiederum einige dieser Sequenzen als Referenz für Folgeszenen genutzt. Der Unterschied zum reinen Text-zu-Video liegt dabei in der Kontrolle. Wer eine Einstellung allein aus einem Prompt generiert, überlässt dem Modell Aussehen, Look und Figur gleich mit. Wer mit dem Referenz-Set arbeitet, hat all das vorher festgelegt und gibt dem Modell nur noch eine Aufgabe: das Bild zum Leben erwecken. Je konsistenter das Set, desto konsistenter bleibt die Figur über die Einstellungen hinweg – und desto weniger zerfällt der Clip in zusammengewürfelte Fragmente. 04 Ton Ton kann Seedance inzwischen nativ mitliefern, direkt aus dem Prompt. Sogar mit einer Voice-Referenz. Für längere Projekte lasse ich mir jedoch den gesprochenen Text mit dem Voice Changer von ElevenLabs noch einmal durchgängig von der gewünschten KI-Stimme sprechen und lege diese Audiospur in der Postproduktion nachträglich unter die Videospur. Genauso generiere ich mir mit Suno oder auch ElevenLabs einen Soundtrack und lege diesen später unter das fertige Video. 05 Schnitt Im finalen Schnitt wird aus den einzelnen Shots eine ganze Geschichte. Timing, Übergänge, Rhythmus, Bild und Ton, Color Grading, der finale Schnitt ist aktuell noch Handarbeit. Wobei auch hier bereits die ersten Tools auf dem Markt sind, die diesen Schritt immer besser automatisieren. Neben dem ersten ist dies der wichtigste Schritt. Erst der fesselnde Schnitt macht aus einem guten Video ein sehr gutes. Zwei bis drei Tage, nicht eine Stunde Fünf Schritte, und keiner davon geht nebenbei. Für ein kurzes, hochwertiges Video sitze ich je nach Story zwei bis drei Tage an dieser Kette und verbrauche Credits im dreistelligen Bereich. Der größte Posten sind dabei nicht die fertigen Sequenzen, sondern die Iterationen davor – jedes Referenzbild in mehreren Anläufen, jeder Clip in mehreren Versionen, von denen viele im Papierkorb landen. Gegenüber einer gedrehten Produktion ist das noch günstig und ungleich flexibler. Nur eben nicht die eine Stunde und die zwanzig Euro, mit denen auf Social Media geworben wird. Fazit Fünf Schritte, von der Idee bis zum Schnitt, und überall ein Werkzeug, das es vor zwei Jahren so nicht gab. Nano Banana Pro, Seedance, ElevenLabs – in wenigen Monaten stehen hier andere Namen. Die einzelnen Schritte aber, und ihre Reihenfolge, sind dieselben wie zu Zeiten von Film und Klappe. Wer die Werkzeuge beherrscht, generiert Clips. Wer die Reihenfolge beherrscht, baut Filme. Fortsetzung in der DOCMA2go 48-26 Vorhergehender Teil des Artikels

Einstieg

Als Abonnent einloggen

DOCMA 2GO abonnieren

Schreibe einen Kommentar Antwort abbrechen