Das Spielen mit Bild-KI wird mehr und mehr zum Volkssport. Es genügt ein Rechner mit Grafikkarte, um los zulegen. Eine der modularsten Arbeitsumgebungen ist ComfyUI, die ein wenig Verständnis beim Nutzer voraussetzt, weil er alles selbst „verkabeln“ muss. Andere Oberflächen sind leichter zu bedienen, haben aber nicht diese Mächtigkeit in der Tiefe.

Programmiertechnisch gesprochen, instanziiiert man durch Anklicken mit der Maus auf dem Bildschirm Klassenobjekt, rückt sie passend zurecht, um die Übersicht zu behalten, und verbindet Ein- und Ausgänge mit Connector-Objekten, die den Datenfluss steuern. Beim Aktivieren beginnt logischerweise alles bei Nodes oder Objekten, die keine Eingänge haben, und endet bei Nodes, die keine Ausgänge mehr haben.

Hier und in weiteren Beiträgen Beispiele für ein paar Workflows. Wir beginnen mit der simpelsten Version: ein Bildmodell (vorzugsweise hier SDXL) wird geladen, ihm per Text-Prompt mitgeteilt, was es tun soll, und ab geht die Post.

Die Aufgabe war hier, Fuchskäppchen, also eine Kombination aus Rotkäppchen und einem Fuchs, zu kreiern.

Ein Problem bei solchen Bildgenerierungen ist, dass die Modelle sehr gut Englisch verstehen, aber mit Deutsch nur bedingt klar kommen. Wir haben daher einen Übersetzer eingebaut, weshalb dieser Basisworkflow auch dann interessant sein könnte, wenn man Text_2_Image bereits ausprobiert hat.

Under the Hood

Sieht man sich den Teil mit den Textprompts genauer an, sind 3 Nodes versteckt.

Davon ist einer der normale positive Text-Prompt, die beiden anderen sorgen dafür, das ein LLM den deutschen Prompt optimal in einen englischen Prompt übersetzt,

Der Workflow läuft hier so:

• Der deutsche Text wird in einen Text-Node geschrieben. Der Text wird an
• einen Prompt-Generator weiter gereicht, der ihn übersetzt. Dazu muss vorher ein LLM geladen werden. Der Übersetzungsprompt ist fest integriert, kann aber bei Bedarf geändert werden.
• Der englische Text geht wiederum an einen Text-Node, den man auf Handbetrieb umschalten kann. Ist man mit dem Ergebnis unzufrieden, kann der englische Prompt auch direkt editiert werden. Der Text geht nun
• an den Clip/Text-Prompt-Node, der die Schnittstelle zwische Model und Sampler bildet.

Rest: Business als Usual. Ergänzend zum ComfyUI-Server muss man einen OIlama-Server installieren, und schon läuft es. Hier der Workflow zum Herunterladen

Hinweis: aus „Sicherheitsgründen“ kann ich den Workflow nicht direkt als JSON-Datei bereitstellen. Daher:

• Downloaden als *.txt – Datei
• Extension .txt gegen Extension .json tauschen (Umbenennen)
• In das ComfyUI-Workflow-Verzeichnis verschieben.