Wie ich ein Kinderbuch mit AI illustriert habe

gravatar
 · 
Sonntag, 11. Dezember 2022
 · 
5 min read
Featured Image

In meinem letzten Blogpost schrieb ich darüber, wie Menschen im kreativen Bereich sich besser künstliche Intelligenz (AI) zu Nutzen machen können, statt sich den neuen Möglichkeiten zu verschliessen. In diesem Blogpost schreibe ich (wieder selbst) darüber, wie ich mit der Hilfe des AI-Bildgeneratoren Midjourney ein 26-seitiges Bilderbuch illustriert habe. Warum ich dabei immer wieder begeistert aufschrie, im nächsten Moment geflucht habe und wie das Ergebnis aussieht, darum geht es in diesem Blogpost.

Zufällig entdeckte ich einen Bildstil in einem Discord-Kanal von Midjourney, welcher mich sofort faszinierte: ein Aquarell-Stil in pastellenen Farbtönen, der niedliche und herzliche Bilder generierte. Sofort experimentierte ich damit herum und generierte erste Bilder:

Um das letzte dieser Bilder zu generieren, verwendete ich beispielsweise den folgende Texteingabe (Promt):

gray squirrel dancing with a lot of other different animals; party; in the forest, children's book illustration; pastel colors; cute airy watercolor drawing --v 4

Die niedlichen Illustrationen brachten mich dann auf die Idee, dass ich ja ein Bilderbuch als Weihnachtsgeschenk für meine kleinere Tochter «basteln» könnte. Also postete ich auf Twitter und LinkedIn die Idee und bekam Zuspruch (nebst Kritik zum Thema Urheberrecht). Nachdem mein Freund Saikat auf Twitter meine Idee übernommen und schon mal vorgelegt hatte, machte ich mich an die Arbeit.

Das Script

Ja, ich hätte die Geschichte auch von ChatGPT schreiben lassen können. Allerdings wollte ich ein Bilderbuch mit wenig Text, das einfach zu lesen ist. Und da ich mir bewusst war, dass es eine Herausforderung werden würde, die Geschichte zu bebildern, wollte ich auch eine eher einfachere Geschichte als Grundlage – dachte ich zumindest. Hier das Script der Geschichte für das Buch:

Später habe ich dann im Buch selbst die Texte abgeändert und etwas ausgeschmückt. Doch zum Bilder generieren hangelte ich mich entlang des Scripts.

Hauptdarsteller gleich aussehen lassen

Schnell merkte ich: einzelnen Bilder machen ist kein Problem. Erzählt man aber eine Geschichte, so sollten die Charakter innerhalb der Erzählung durchgehend gleich aussehen. Und das ist gar nicht so einfach mit dem aktuellen StandDezember 2022 in Midjourney V4. Damit man das erreicht, muss man sich verschiedener Tricks bedienen:

  • Ein Modell trainieren, dem man einen Namen gibt und diesen dann immer als Referenz verwenden kann (das habe ich noch nicht kapiert, da aktuell recht kompliziert)
  • Ein Bild oder mehrere als Referenz hochladen, damit der Charakter dann den Bildern gleicht
  • Eine berühmte Persönlichkeit als Lookalike im Text-Promt verwenden (den Weg habe ich gewählt)

Nach einigen Tests brachte ich die Midjourney-AI soweit, dass der von meiner Tochter gewünschte Hauptcharakter («Eine Fee mit weissem Kleid und roten Lippen») immer etwa ähnlich aussah. Danke Jennifer Lawrence! <3

fairy with blonde hair with red lips and in a white dress, lookalike Jennifer Lawrence, full shot, --v 4 --upbeta

Ich experimentierte weiter, brauchte alle meine Credits auf bei meinem Midjourney-Abo und warf etwas Geld nach, bis ich zu einem brauchbaren Text-Promt kam, den ich dann durchgehend im Bilderbuch nutzte (teilweise mit leichten Anpassungen). Die ersten Bilder im Buch wurden generiert:

Schritt für Schritt tastete ich mich an das Erstellen von einer Bildserie mit möglichst gleich aussehender Hauptdarstellerin heran. Manchmal sah die Fee etwas anders aus als erwartet, manchmal war sie plötzlich viel jünger. Immer wieder versuchte ich mit genaueren Text-Promts dem entgegen zu steuern. Aber zwischendurch gab es einfach Momente, wo nichts anderes übrig blieb, als so viele Varianten zu generieren, biss das passende Bild dabei heraussprang. Oder statt einer weissen Katze eine schwarze Katze:

Jennifer Lawrence as a fairy, with blonde hair wearing a white dress, strokes a black cat on her knees, age of 16, children's book illustration; wide shot, Field of View, high angle, pastel colors; cute airy watercolor drawing, white gradient edge, --ar 3:2 --v 4

So kämpfte ich mich Schritt für Schritt durch das Script und verfluchte mich selbst. Ich habe mir das viel einfacher und schneller vorgestellt. Einzelne Bilder generieren mag ja easy sein. Aber die AI mit den richtigen Text-Prompts dazu bringen, dass sie genau das macht, was man will – das war tatsächlich ein Kampf. Zum Glück gab es immer wieder diese Highlights, in denen man einfach baff war, was die AI da an Bildern ausspuckte.

Das Resultat

Nach wohl insgesamt acht Stunden, hatte ich das Buch fertig in der Fotobuch-Software (iFolor), die Bildqualität reichte zum Glück aus und mit etwas Layout und bei 2-3 Bildern Photoshop-Einsatz war das Buch fertig und wurde bestellt. Hier ein paar Bilder vom fertigen Buch:

Was habe ich dabei gelernt?

  • Mehrere Charakter gleichzeitig auf einem Bild darzustellen, ist aktuell mit Midjourney V4 fast unmöglich. Da habe ich mich des einfachen Tricks bedient, dass ich das gleich Bild mit abwechselnd anderen Charakteren generiert und im Nachhinein in Photoshop zusammengesetzt habe
  • Es braucht viiiel Zeit, die passenden Bilder zu erhalten, wenn man eine Geschichte erzählt und eine Vorstellung davon hat, was man illustrieren will und wie es aussehen soll. Bildausschnitt, Kameraperspektive, Stimmungen der Charakter, und so weiter. Da generiert man locker mal 30 Varianten, bis ein Bild ungefähr passt.
  • Je komplexer die Szenen, desto unmöglicher wird es, diese zu generieren, so wie man möchte. Heisst: man muss flexibel bleiben und manchmal die Geschichte etwas ändern, damit es einfacher wird
  • Wenn man ein Fotobuch bestellt, gibt es manchmal eine Mindestanzahl an Seiten. Ich hatte die Geschichte fertig mit 20 Seiten – doch die Fotobuchsoftware verlangte mind. 26 Seiten. Arrgh! Also wurden noch 3 schöne Doppelseiten eingefügt – natürlich mussten auch hier zuerst die Bilder generiert werden.

Insgesamt bin ich aber sehr zufrieden mit dem Resultat und ich glaube, da wird sich meine kleinere Tochter sehr freuen an Weihnachten. Ich habe viel gelernt, wie ich mit Text-Promts näher an ein Bild komme, das ich mir von der AI wünsche.

Ist ein solches Bilderbuch vergleichbar mit einem richtigen Kinderbuch, illustriert von einem Profi? Hat es mit AI generiert gleich viel «Herzlichkeit» wie ein richtiges Bilderbuch? Ich denke bei beiden Fragen kann man mit Nein antworten. Allerdings brauchte es trotz allem meine Kreativität und ein gestalterisches Auge, um zu diesem Resultat zu gelangen. Vielleicht wird es in Zukunft auch eine Möglichkeit geben, alle Quellen der von der AI verwendeten Bildern auch transparent aufgelistet zu bekommen um auch die verdienten Credits zumindest angeben zu können.

Bis dahin: wenn die Fee noch nicht gestorben ist, lebt sie noch heute.

Comments
Mike
Top! Geniales Experiment. Im Prinzip hättest du das ganz noch abgerundet wenn du GPT-3 den Text dazu schreiben liessest 😉
Danke Mike! Die Idee, den Text auch von AI. schreiben zu lassen hatte ich natürlich. Allerdings war es genug schwierig, mit einem einfachen Text die Bilder zu generieren. Drum war ich froh, konnte ich die Geschichte selbst etwas „steuern“ 😀
Paddy
Wow, beeindruckendes Ergebnis und ebenso beeindruckender Aufwand.
Die Problematik, einen Charakter wiederholt zu verwenden, wird vermutlich auch zeitnah gelöst sein. Ich wollte mal versuchen, ob man das immer gleiche Maskottchen in verschiedenen Posen generieren lassen kann, bin daran aber kläglich gescheitert.
Dass man Modelle trainieren kann bei Midjourney wusste ich noch nicht mal.
Danke für die Blumen. 🙂 Ja, ich hoffe auch, dass es bald eine Möglichkeit gibt, Charakter über mehrere Bilder hinweg zu referenzieren. Mit –-seed und –sameseed könnte man allenfalls auch mal Tests machen.
Wie man genau ein Modell für MJ trainiert, habe ich eben auch noch nicht ganz begriffen. Aber ich werde mich sicher mal da tiefer reinknien 🙂
Oliver
Spannende Kontroverse: «Wie diese Leute einfach nicht verstehen, dass AI nicht einfach so was ✨neues✨ kreiert, sondern auf bestehende Werke „zurückgreift“ und damit quasi Künstler / Autoren / etc. beklaut!?»
Ja, das ist ein sehr spannender Aspekt bei dem Thema AI-generierter Content. Ob Bild, Texte, Video oder künftig auch 3D, Games etc…
Grundsätzlich verhält sich eine AI aber nicht viel anders als z.B. ich als Designer:
1.) ich habe in meiner Ausbildung Dinge gelernt, die mir als Designer helfen. Auch eine AI wird trainiert.
2.) Ich lasse mich bewusst oder unbewusst von anderen „Werken“ inspirieren, ich kann gar nicht anders. Täglich surfe ich im Web, folge unzähligen Designer:innen auf Twitter und anderen Netzwerken, werde von Filmen und Medien immer wieder „beeinflusst“.
Eine AI ist da nicht viel anders. Sie generiert Bilder basierend auf millionen von Inspirationen. Natürlich kann man mit AI Bilder sehr nahe an die Bildsprache eines Originals bringen. So wie ich als Designer auch etwas sehr nahe abkupfern kann.
Wäre es gut, wenn die AI alle ihre Inspirationsquellen zu den Outputs angeben würde um wenigstens Credits zu vergeben? Auf jeden Fall. Machen das Designer:innen? Selten bis nie.
Ich finde es als Kreativer auch wichtig, dass man „Werke“ in die ich viel Zeit gesteckt habe, nicht einfach abgekupfert werden. Aber verhindern kann man das nie (ist mir auch schon passiert) und eigentlich lohnt es sich da nicht, ein grosses Tamtam darum zu machen.
Vielleicht wird sich der Markt diesbezüglich selbst regeln und man kann sich als Künstler:in quasi wie früher bei einem Telefonbucheintrag „sperren“ lassen, dass keine Werke verwendet werden. Oder vielleicht wird sich alles ganz anders entwickeln.
Auf jeden Fall steckt die Copyright-Thematik im Bezug auf AI noch in den Kinderschuhen und es ist wichtig, dies auch kritisch zu hinterfragen.
Mein Kinderbuch hier würde ich beispielsweise nicht verkaufen wollen im kommerziellen Rahmen. Aber als privates Geschenk finde ich es ganz okay. 🙂
Grossartig 😀 Danke fürs Teilen.
Ich finde es spannend, wieder was „neues“ zum Ausprobieren, dass wohl bald zur neuen Normalität wird. Ich glaube, meine Girls hätten auch Freude an deinem Buch.
Du bringst mich wieder auf Ideen.
Happy XMAS. Mona
Sehr gerne! Ich glaube auch, das AI sich immer mehr in unserem Alltag zeigen wird und wir davon profitieren können, wenn wir die Technik auch für uns nutzen.
Bin gespannt was du alles damit anstellen wirst 🙂

Leave a replyReply to

Featured Image
AI-generierte Bilder sind ein immer beliebteres Werkzeug für Künstler und Content-Ersteller. Sie ermöglichen es, realistische Bilder zu erstellen, die von echten kaum zu unterscheiden sind, und können die Arbeitsgeschwindigkeit erheblich verbessern. In diesem Blogpost …
Featured Image
Seit Elon Musk begonnen hat, Twitter kaufen zu wollen, fliegen die Federn rund um Twitter. Ich versuche den Durchblick zu behalten in diesem Post.
Featured Image
Stell dir vor, du hast seit Monaten oder länger nicht mehr gebloggt. Und dann veröffentlichst du einen Blogpost über deinen neuen Job. Teilst den Link auf all deinen sozialen Netzwerken, freust dich, endlich wieder …
Follow me
Talk to me

+41 77 412 97 97
hallo@davidblum.ch

Subscribe to me

Get my latest blogposts and news in your inbox. No spam, guaranteed.

© 2021 David Blum – Switzerland isch geil