Hinweise zu KI-Bildgeneratoren und KI-animierten Bildern – Film Daily

Unter meinem Bett steht ein Schuhkarton, der unter anderem eine Buntstiftzeichnung eines Hauses enthält, das ich mit sieben Jahren angefertigt habe. Das Haus ist kräftig lila, die Sonne ist ein gezackter gelber Kreis mit Wimpern, und eine Strichmännchenfamilie schwebt einige Zentimeter über dem Gras, weil ich die Bodenebenen noch nicht herausgefunden hatte. Meine Mutter bewahrte ihn dreißig Jahre lang auf, und als sie mir letztes Weihnachten den Schuhkarton schenkte, lachte ich darüber, wie schrecklich schlecht er war. Dann klebte ich es auf meinen Schreibtisch und vergaß es, bis ich an einem Dienstagabend im April die eigentliche Arbeit hinauszögerte und beschloss, nachzusehen, was für ein KI-Bildgenerator aus Bild könnte damit zurechtkommen.

Ich hatte damals schon ein paar Wochen lang mit Bild-zu-Bild-KI herumgespielt, hauptsächlich mit den üblichen Dingen – Selfies in Renaissance-Porträts verwandeln, Landschaftsfotos einspeisen und nach Studio-Ghibli-Hintergründen fragen. Es hat Spaß gemacht, fühlte sich aber wie ein Spielzeug an. Ich hatte noch nicht den Moment erlebt, in dem die Technologie wirklich etwas in meinem Gehirn verändert hat. Dann scannte ich die Buntstiftzeichnung mit meinem Telefon, lud sie in ein Bild-zu-Bild-Tool hoch und tippte die wörtlichste Eingabeaufforderung ein, die mir einfiel: „fotorealistisches Haus, goldene Stunde, volumetrische Beleuchtung, 35-mm-Foto.“ Ich drückte die Eingabetaste und erwartete ein verstümmeltes Durcheinander aus violetten Pixeln und deformierten Strichmännchen.

Was zurückkam, war überhaupt kein Witz. Das Haus war immer noch lila, aber jetzt war es eine verwitterte lavendelfarbene Schindel mit abblätternder Farbe und eine echte Holzveranda. Die Sonne hatte ihre Wimpern verloren und war zu einer warmen, tief hängenden Kugel geworden, die lange Schatten über einen Rasen warf, den es in der Buntstiftversion nicht gegeben hatte. Die schwebende Stockfamilie hatte sich in echte Menschen verwandelt – eine Frau in einem gelben Kleid, die die Hand eines kleinen Kindes im Overall hielt, deren Gesichter gerade so verschwommen waren, dass sie wie eine Erinnerung wirkten. Die Zusammensetzung war genau die gleiche. Die KI hatte kein neues Bild erfunden; Es hatte meine Zeichnung als Blaupause behandelt, als eine Reihe räumlicher und konzeptioneller Anweisungen. Die gezackte gelbe Sonne bedeutete Sonne, oben links. Das violette Rechteck bedeutete Haus, Zentrum. Die Strichmännchen bedeuteten Familie, Vordergrund. Es war das gleiche Bild, aber es war erwachsen geworden.

Das ist es, was einen echten KI-Bildgenerator von einem Stilübertragungsfilter oder einem einfachen Upscaler unterscheidet. Es verändert nicht nur die Oberfläche; es liest das Bild als eine Art semantisches Gerüst und baut darin etwas Neues auf. Das Original bleibt als Geist präsent. Meine Buntstiftzeichnung war immer noch da, wenn ich die Augen zusammenkniff, in der Platzierung des Schornsteins und des dreieckigen Dachs und in der unmöglichen Art und Weise, wie die Sonne das Gras berührte. Die KI hatte die Absichten meines Siebenjährigen erkannt und sie auf eine Art und Weise in die Realität umgesetzt, wie es meine motorischen Fähigkeiten niemals vermochten. Ich fand es zutiefst bewegend, auf eine Art und Weise, dass es mir fast peinlich war, es zuzugeben. Es war nur ein Buntstifthaus. Aber es waren auch dreißig Jahre Distanz, zusammengefasst in einem einzigen Bild.

Die Sache ist: Sobald Sie gesehen haben, wie aus einer Zeichnung ein Foto wird, fragen Sie sich, was sonst noch daraus werden kann. So bin ich auf die Videoseite gekommen. Ich hatte Gerüchte über Tools gehört, die ein einzelnes Bild aufnehmen und daraus ein kurzes Video erstellen könnten – keine Diashow, keinen Morphing-Übergang, sondern tatsächliche Bewegung: Haare wehen, Wasser kräuselt sich, Blätter rascheln. Der Begriff, den ich in Foren immer wieder sah, war „AI Image to Video Generator“, meist vollständig getippt, als ob die Leute die Form des Satzes immer noch im Mund spüren würden. Ich habe ein paar davon mit einem Lesezeichen versehen und vergessen, bis mich das Buntstifthaus daran erinnerte.

Also nahm ich die fotorealistische Darstellung meiner Kindheitszeichnung und lud sie auf einen AI Image to Video Generator hoch, den ich gefunden hatte und der über eine kostenlose Stufe verfügte. Die Benutzeroberfläche war schlicht gehalten: Ziehen Sie ein Bild, schreiben Sie eine optionale Bewegungsaufforderung und wählen Sie eine Dauer. Ich tippte „Blätter rascheln in den Bäumen, Vorhänge bewegen sich im Fenster, Frau verlagert leicht ihr Gewicht, das Licht des späten Nachmittags verblasst langsam“ und wartete dann. Als der sechs Sekunden lange Clip geladen war, musste ich meinen Kaffee wirklich absetzen. Die Vorhänge im oberen Fenster des Hauses, die ich auf dem Standbild nicht einmal bewusst bemerkt hatte, blähten sich nach innen, als wäre gerade eine Brise hindurchgezogen. Der Baum neben der Veranda, den die Bild-zu-Bild-KI aus dem Nichts hinzugefügt hatte, hatte jetzt Blätter, die in einem sanften, unregelmäßigen Rhythmus zitterten. Die Frau im gelben Kleid ging nicht und winkte nicht; Sie neigte nur den Kopf ein wenig, als hätte sie etwas im Haus gehört. Es war so subtil, dass man es leicht übersehen konnte, aber es traf mich mitten in der Brust. Meine Buntstiftzeichnung atmete.

Später erfuhr ich, dass diese spezielle Art der Generierung in vielen Entwickler-Communities als „ai animate image“ bezeichnet wird, ein Ausdruck, der seltsam wörtlich und etwas ungeschickt ist, aber absolut zutreffend. Es ist nicht „animiert“ im Cartoon-Sinn, einer Figur einen Laufzyklus zu geben. Es ist eher so, als würde die KI die latente Bewegung ableiten, die der Bildinhalt impliziert – was ein Vorhang auf natürliche Weise tun würde, wenn sich der Luftdruck ändern würde, was ein menschlicher Körper tun würde, wenn er stillsteht, aber lebendig ist, sich im Mikrobereich bewegt und das Gleichgewicht reguliert. Der ai animate image-Prozess nutzt das gleiche semantische Verständnis, das ein Bild-zu-Bild-Modell verwendet, um eine Buntstiftsonne in eine echte zu verwandeln und sie in den Zeitbereich zu erweitern. Wenn das Modell weiß, dass ein Fenster Glas und eine Brise Bewegung bedeutet, kann es die fehlenden Rahmen zwischen einem statischen Vorhang und einem sich sanft bewegenden Vorhang erzeugen. Es ist eine Vermutung, eine fundierte Vermutung, und wenn es funktioniert, fühlt es sich nicht mehr von Magie zu unterscheiden an.

Wenn es scheitert, ist es natürlich eine Katastrophe, und ich habe viele Katastrophen erlebt. Das erste Mal habe ich es versucht ein Foto animieren Bei einem Familienessen entschied der AI-Animate-Image-Algorithmus offenbar, dass es sich bei der Lasagne auf dem Tisch um einen lebenden Organismus handelte, und ließ ihn pulsieren. Ein weiterer Versuch, ein Foto meiner Freundin mitten im Sprung auf einem Wanderweg zu machen, verwandelte ihre Haare in ein Medusa-ähnliches Gewirr unabhängiger Schlangen. In einer wirklich verfluchten Ausgabe, der KI-Bild zu Video Generator interpretierte den aus einer Kaffeetasse aufsteigenden Dampf als das Schmelzen der Tasse selbst in der Luft. Das habe ich in einem Ordner mit der Aufschrift „Körperhorror“ aufbewahrt und es meinem Freund Dave gezeigt, der so laut gelacht hat, dass er erstickt ist. Diese Technologie hat keine Angst, und ehrlich gesagt ist das einer der Gründe, warum ich sie liebe. Es geht darum, etwas unglaublich Schwieriges auszuprobieren – sich eine physikalisch plausible Zukunft für jedes Pixel in einem flachen Bild vorzustellen – und wenn dabei etwas falsch liegt, liegt es auf unterhaltsame Weise falsch.

Dennoch haben die gelungenen Clips meine Einstellung zu alten Fotos und Zeichnungen verändert. Ich habe angefangen, meine Kamerarolle mit einer neuen Art von Aufmerksamkeit zu durchsuchen, nicht nur auf der Suche nach Bildern, die schön sind, sondern auch nach Bildern, die voller angedeuteter Bewegung sind. Ein Foto eines Sees ist nicht mehr nur ein See; Es ist Wasser, das ans Ufer plätschern will. Das Bild eines lachenden Freundes ist nicht nur ein eingefrorener Gesichtsausdruck; Es ist ein Kopf, der nach hinten geneigt werden möchte, ein Satz Schultern, die zittern möchten. Der KI-Bildgenerator von image gab mir die Möglichkeit, meine visuellen Ideen stilübergreifend und realistisch umzusetzen. Der AI Image to Video Generator gab diesen übersetzten Ideen einen Impuls. Und der Ausdruck „ai animate image“ beschreibt bei aller Unbeholfenheit genau die Brücke zwischen beiden: den Akt der Erkenntnis, dass jedes Standbild ein angehaltener Moment in einer längeren Geschichte ist und dass eine Maschine, wenn man es freundlich fragt, auf „Play“ drücken kann.

Ich bin letzte Woche wieder zum Schuhkarton gegangen. Darin sind Dutzende Zeichnungen zu sehen – ein Drache mit drei Köpfen, eine schiefe Geburtstagstorte, ein Baumhaus, das sich der Physik widersetzt. Ich arbeite sie langsam, eine nach der anderen, durch, scanne sie, füge sie durch die Bild-zu-Bild-Pipeline und übergebe die besten Ergebnisse dann an den Videogenerator. Der Drache atmet nun eine flackernde Rauchwolke. Das Baumhaus schwankt leicht in einem imaginären Wind, die Strickleiter schwingt. Jedes einzelne fühlt sich weniger wie eine Tech-Demo an, sondern eher wie eine Zusammenarbeit mit meinem jüngeren Ich, einem Kind, das diese Dinge gezeichnet hat, weil er sehen wollte, wie sie sich bewegen, und nur ein einziges Bild schaffen konnte. Dreißig Jahre später kann ich ihm endlich den Rest des Clips zeigen.