ComfyUI (IV)

Im Internet kursieren jede Menge Videos mit täuschend echt simulierten Personen. Tatsächlich ein Video erzeugen, in dem John F. Kennedy Donald Trump die Hand schüttelt gehört allerdings zu den aufwändigeren Aufgaben, die einiges an Tricks verlangen.

Relativ einfach ist es hingegen, ein fertiges Video zu nehmen und nur die Gesichter auszutauschen. Da genügt es, dass die Darsteller hinreichend viele körperliche Merkmale mit der Zielperson, die dargestellt werden soll, teilen. Der Workflow ist dekbar einfach und nutzt das Fast Face Swap Control Net von Reactor und kann auf jedes Video angewandt werden.

Wie ist die Vorgehensweise? Reactor muss lediglich wissen, das wievielte Gesicht im Bild ausgetauscht werden soll. Wenn es das 2. von links sein soll, muss man dafür sorgen, dass es während des gesamten Austauschvorgangs auch das 2. von links bleibt. Ein längeres Video, in dem die Positionen wechseln, ist daher zuerst mit einem Tool wie beispielsweise kdenlive in passende Chunks zu zerlegen.

Die Teile können immer noch zu große sein, um in einem Schritt verarbeitet zu werden. Ein Batch-Controller im Workflow zerlegt den aktuellen Chunk in Sub-Chunks, die nacheinander verarbeitet und abschließend mit ffmpeg oder kdenlive wieder zusammen gesetzt werden können. Das Finale bildet dann das Neuschneiden der großen Chunks mit kdenlive.