In meinem letzten Blogpost schrieb ich darüber, wie Menschen im kreativen Bereich sich besser künstliche Intelligenz (AI) zu Nutzen machen können, statt sich den neuen Möglichkeiten zu verschliessen. In diesem Blogpost schreibe ich (wieder selbst) darüber, wie ich mit der Hilfe des AI-Bildgeneratoren Midjourney ein 26-seitiges Bilderbuch illustriert habe. Warum ich dabei immer wieder begeistert aufschrie, im nächsten Moment geflucht habe und wie das Ergebnis aussieht, darum geht es in diesem Blogpost.

Zufällig entdeckte ich einen Bildstil in einem Discord-Kanal von Midjourney, welcher mich sofort faszinierte: ein Aquarell-Stil in pastellenen Farbtönen, der niedliche und herzliche Bilder generierte. Sofort experimentierte ich damit herum und generierte erste Bilder:

Um das letzte dieser Bilder zu generieren, verwendete ich beispielsweise den folgende Texteingabe (Promt):

gray squirrel dancing with a lot of other different animals; party; in the forest, children's book illustration; pastel colors; cute airy watercolor drawing --v 4

Die niedlichen Illustrationen brachten mich dann auf die Idee, dass ich ja ein Bilderbuch als Weihnachtsgeschenk für meine kleinere Tochter «basteln» könnte. Also postete ich auf Twitter und LinkedIn die Idee und bekam Zuspruch (nebst Kritik zum Thema Urheberrecht). Nachdem mein Freund Saikat auf Twitter meine Idee übernommen und schon mal vorgelegt hatte, machte ich mich an die Arbeit.

Das Script

Ja, ich hätte die Geschichte auch von ChatGPT schreiben lassen können. Allerdings wollte ich ein Bilderbuch mit wenig Text, das einfach zu lesen ist. Und da ich mir bewusst war, dass es eine Herausforderung werden würde, die Geschichte zu bebildern, wollte ich auch eine eher einfachere Geschichte als Grundlage – dachte ich zumindest. Hier das Script der Geschichte für das Buch:

Später habe ich dann im Buch selbst die Texte abgeändert und etwas ausgeschmückt. Doch zum Bilder generieren hangelte ich mich entlang des Scripts.

Hauptdarsteller gleich aussehen lassen

Schnell merkte ich: einzelnen Bilder machen ist kein Problem. Erzählt man aber eine Geschichte, so sollten die Charakter innerhalb der Erzählung durchgehend gleich aussehen. Und das ist gar nicht so einfach mit dem aktuellen StandDezember 2022 in Midjourney V4. Damit man das erreicht, muss man sich verschiedener Tricks bedienen:

• Ein Modell trainieren, dem man einen Namen gibt und diesen dann immer als Referenz verwenden kann (das habe ich noch nicht kapiert, da aktuell recht kompliziert)
• Ein Bild oder mehrere als Referenz hochladen, damit der Charakter dann den Bildern gleicht
• Eine berühmte Persönlichkeit als Lookalike im Text-Promt verwenden (den Weg habe ich gewählt)

Nach einigen Tests brachte ich die Midjourney-AI soweit, dass der von meiner Tochter gewünschte Hauptcharakter («Eine Fee mit weissem Kleid und roten Lippen») immer etwa ähnlich aussah. Danke Jennifer Lawrence! <3

fairy with blonde hair with red lips and in a white dress, lookalike Jennifer Lawrence, full shot, --v 4 --upbeta

Ich experimentierte weiter, brauchte alle meine Credits auf bei meinem Midjourney-Abo und warf etwas Geld nach, bis ich zu einem brauchbaren Text-Promt kam, den ich dann durchgehend im Bilderbuch nutzte (teilweise mit leichten Anpassungen). Die ersten Bilder im Buch wurden generiert:

Schritt für Schritt tastete ich mich an das Erstellen von einer Bildserie mit möglichst gleich aussehender Hauptdarstellerin heran. Manchmal sah die Fee etwas anders aus als erwartet, manchmal war sie plötzlich viel jünger. Immer wieder versuchte ich mit genaueren Text-Promts dem entgegen zu steuern. Aber zwischendurch gab es einfach Momente, wo nichts anderes übrig blieb, als so viele Varianten zu generieren, biss das passende Bild dabei heraussprang. Oder statt einer weissen Katze eine schwarze Katze:

Jennifer Lawrence as a fairy, with blonde hair wearing a white dress, strokes a black cat on her knees, age of 16, children's book illustration; wide shot, Field of View, high angle, pastel colors; cute airy watercolor drawing, white gradient edge, --ar 3:2 --v 4

So kämpfte ich mich Schritt für Schritt durch das Script und verfluchte mich selbst. Ich habe mir das viel einfacher und schneller vorgestellt. Einzelne Bilder generieren mag ja easy sein. Aber die AI mit den richtigen Text-Prompts dazu bringen, dass sie genau das macht, was man will – das war tatsächlich ein Kampf. Zum Glück gab es immer wieder diese Highlights, in denen man einfach baff war, was die AI da an Bildern ausspuckte.

Das Resultat

Nach wohl insgesamt acht Stunden, hatte ich das Buch fertig in der Fotobuch-Software (iFolor), die Bildqualität reichte zum Glück aus und mit etwas Layout und bei 2-3 Bildern Photoshop-Einsatz war das Buch fertig und wurde bestellt. Hier ein paar Bilder vom fertigen Buch:

Was habe ich dabei gelernt?

• Mehrere Charakter gleichzeitig auf einem Bild darzustellen, ist aktuell mit Midjourney V4 fast unmöglich. Da habe ich mich des einfachen Tricks bedient, dass ich das gleich Bild mit abwechselnd anderen Charakteren generiert und im Nachhinein in Photoshop zusammengesetzt habe
• Es braucht viiiel Zeit, die passenden Bilder zu erhalten, wenn man eine Geschichte erzählt und eine Vorstellung davon hat, was man illustrieren will und wie es aussehen soll. Bildausschnitt, Kameraperspektive, Stimmungen der Charakter, und so weiter. Da generiert man locker mal 30 Varianten, bis ein Bild ungefähr passt.
• Je komplexer die Szenen, desto unmöglicher wird es, diese zu generieren, so wie man möchte. Heisst: man muss flexibel bleiben und manchmal die Geschichte etwas ändern, damit es einfacher wird
• Wenn man ein Fotobuch bestellt, gibt es manchmal eine Mindestanzahl an Seiten. Ich hatte die Geschichte fertig mit 20 Seiten – doch die Fotobuchsoftware verlangte mind. 26 Seiten. Arrgh! Also wurden noch 3 schöne Doppelseiten eingefügt – natürlich mussten auch hier zuerst die Bilder generiert werden.

Insgesamt bin ich aber sehr zufrieden mit dem Resultat und ich glaube, da wird sich meine kleinere Tochter sehr freuen an Weihnachten. Ich habe viel gelernt, wie ich mit Text-Promts näher an ein Bild komme, das ich mir von der AI wünsche.

Ist ein solches Bilderbuch vergleichbar mit einem richtigen Kinderbuch, illustriert von einem Profi? Hat es mit AI generiert gleich viel «Herzlichkeit» wie ein richtiges Bilderbuch? Ich denke bei beiden Fragen kann man mit Nein antworten. Allerdings brauchte es trotz allem meine Kreativität und ein gestalterisches Auge, um zu diesem Resultat zu gelangen. Vielleicht wird es in Zukunft auch eine Möglichkeit geben, alle Quellen der von der AI verwendeten Bildern auch transparent aufgelistet zu bekommen um auch die verdienten Credits zumindest angeben zu können.

Bis dahin: wenn die Fee noch nicht gestorben ist, lebt sie noch heute.