ComfyUI: Ihr umfassender Installations- und Workflow-Leitfaden
Das lokale Ausführen von Stable Diffusion bietet immense Kontrolle, aber die Befehlszeile kann abschreckend sein. ComfyUI bietet eine knotenbasierte Schnittstelle für die Erstellung komplizierter Bildgenerierungs-Workflows. Dieser Leitfaden führt Sie durch die Installation, die Modelleinrichtung, die Workflow-Erstellung und die VRAM-Optimierung. Fangen wir an.
Was ist ComfyUI?
ComfyUI ist eine knotenbasierte visuelle Programmierumgebung für Stable Diffusion. Anstatt eine textbasierte Schnittstelle zu verwenden, verbinden Benutzer verschiedene Knoten, die Bildverarbeitungsschritte darstellen, um komplexe Bildgenerierungs-Pipelines zu erstellen. Dies bietet eine größere Kontrolle und Flexibilität im Vergleich zu herkömmlichen Stable Diffusion-Schnittstellen.
ComfyUI präsentiert einen grundlegend anderen Ansatz für Stable Diffusion im Vergleich zu typischen Web-UIs. Anstelle eines Text-Prompt-Felds und einiger weniger Einstellungen wird Ihnen eine leere Leinwand präsentiert. Diese Leinwand wird zu Ihrem Workflow, der durch das Verbinden von Knoten erstellt wird, die einzelne Operationen darstellen. Dieses knotenbasierte System bietet eine beispiellose Kontrolle über den Bildgenerierungsprozess und ermöglicht Anpassungen, die mit einfacheren Schnittstellen einfach nicht möglich sind. Es mag anfangs einschüchternd wirken, aber die Flexibilität, die es freisetzt, ist die anfängliche Lernkurve wert. Werkzeuge wie Promptus vereinfachen das Prototyping dieser Workflows und ermöglichen eine visuelle Iteration komplexer Setups.
!Abbildung: ComfyUI-Schnittstelle mit einem einfachen Workflow bei 00:00
Abbildung: ComfyUI-Schnittstelle mit einem einfachen Workflow bei 00:00 (Quelle: Video)*
Installieren von ComfyUI unter Windows
So installieren Sie ComfyUI unter Windows:
- Laden Sie den entsprechenden Build aus dem ComfyUI GitHub-Repository herunter.
- Extrahieren Sie das Archiv an einen geeigneten Speicherort.
- Führen Sie die Datei
run_nvidia_gpu.bat(oder das AMD-Äquivalent) aus. - Laden Sie die erforderlichen Modelle (SDXL, VAEs usw.) herunter und platzieren Sie sie in den entsprechenden Ordnern.
Die Installation von ComfyUI unter Windows ist recht unkompliziert, vorausgesetzt, Sie verfügen über die erforderliche Hardware und Treiber. Besuchen Sie zunächst das offizielle ComfyUI GitHub-Repository und laden Sie den entsprechenden Build für Ihr System herunter. Extrahieren Sie das heruntergeladene Archiv an einen Ort Ihrer Wahl. Im extrahierten Ordner finden Sie Batch-Dateien zum Ausführen von ComfyUI mit verschiedenen GPUs. Wenn Sie eine NVIDIA-Karte haben, führen Sie run_nvidia_gpu.bat aus. Verwenden Sie für AMD die entsprechende AMD-Batch-Datei. ComfyUI wird dann in Ihrem Standard-Webbrowser gestartet.
Technische Analyse
Die Batch-Dateien sind im Wesentlichen Wrapper, die die erforderlichen Umgebungsvariablen setzen und das ComfyUI Python-Skript starten. Dies vereinfacht den Ausführungsprozess von ComfyUI, da Sie die Umgebung nicht manuell konfigurieren müssen.
Herunterladen und Platzieren von Modellen
Laden Sie Stable Diffusion-Modelle (z. B. SDXL, v1.5) und VAE-Dateien von Quellen wie Civitai herunter. Platzieren Sie die Modelle im Verzeichnis ComfyUI/models/checkpoints und die VAE-Dateien im Verzeichnis ComfyUI/models/vae.
ComfyUI enthält in seiner Basisform keine vorinstallierten Stable Diffusion-Modelle. Sie müssen diese separat herunterladen und in den korrekten Verzeichnissen platzieren. Beliebte Quellen für Modelle sind Civitai. Laden Sie die Stable Diffusion-Modelle herunter, die Sie verwenden möchten (SDXL und v1.5 sind gute Ausgangspunkte), und platzieren Sie sie im Verzeichnis ComfyUI/models/checkpoints. Laden Sie in ähnlicher Weise alle VAE-Dateien herunter und platzieren Sie sie im Verzeichnis ComfyUI/models/vae.
!Abbildung: Datei-Explorer, der die Verzeichnisse checkpoints und vae bei 06:22 zeigt
Abbildung: Datei-Explorer, der die Verzeichnisse checkpoints und vae bei 06:22 zeigt (Quelle: Video)*
Technische Analyse
Das modulare Design von ComfyUI bedeutet, dass es die Modelle nicht direkt bündelt. Dies ermöglicht es Ihnen, eine Vielzahl von Modellen aus verschiedenen Quellen zu verwenden, erfordert jedoch eine manuelle Einrichtung. Promptus-Entwickler können Setups zum Auslagern schneller iterieren.
Generieren Ihres ersten Bildes
Erstellen Sie einen einfachen Workflow, indem Sie einen Standard-Workflow laden oder einen von Grund auf neu erstellen. Laden Sie einen Checkpoint, geben Sie einen Prompt ein und verbinden Sie die Knoten. Klicken Sie auf "Prompt in die Warteschlange stellen", um ein Bild zu generieren.
Das Generieren Ihres ersten Bildes in ComfyUI kann etwas entmutigend sein, aber es ist eine gute Möglichkeit, sich mit der Schnittstelle vertraut zu machen. Sie können beginnen, indem Sie einen Standard-Workflow laden oder einen von Grund auf neu erstellen. Die wesentlichen Knoten umfassen: Load Checkpoint, Prompt Text, KSampler, VAE Decode und Save Image. Laden Sie einen Checkpoint (Ihr Stable Diffusion-Modell), geben Sie Ihren gewünschten Prompt in den Knoten Prompt Text ein und verbinden Sie die Knoten in der richtigen Reihenfolge. Die Ausgabe des Knotens Load Checkpoint sollte mit dem model-Eingang des Knotens KSampler verbunden werden. Die positiven und negativen Prompts sollten ebenfalls mit dem Knoten KSampler verbunden werden. Die Ausgabe des Knotens KSampler sollte mit dem Knoten VAE Decode verbunden werden, und schließlich sollte die Ausgabe des Knotens VAE Decode mit dem Knoten Save Image verbunden werden. Sobald alles verbunden ist, klicken Sie auf die Schaltfläche "Prompt in die Warteschlange stellen", um Ihr Bild zu generieren.
!Abbildung: Ein einfacher ComfyUI-Workflow mit den wesentlichen verbundenen Knoten bei 09:52
Abbildung: Ein einfacher ComfyUI-Workflow mit den wesentlichen verbundenen Knoten bei 09:52 (Quelle: Video)*
Technische Analyse
Der Knoten KSampler ist der Ort, an dem der eigentliche Diffusionsprozess stattfindet. Er nimmt das Modell, die Prompts und einen Seed als Eingabe und generiert die latente Darstellung des Bildes. Der Knoten VAE Decode konvertiert diese latente Darstellung dann in ein tatsächliches Bild.
Speichern und Laden von Workflows
Speichern Sie Workflows als .json-Dateien zur späteren Verwendung. Laden Sie gespeicherte Workflows, indem Sie die .json-Datei in die ComfyUI-Schnittstelle ziehen.
Sobald Sie einen Workflow erstellt haben, der Ihnen gefällt, sollten Sie ihn für die zukünftige Verwendung speichern. Mit ComfyUI können Sie Workflows als .json-Dateien speichern. Klicken Sie einfach auf die Schaltfläche "Speichern" in der Schnittstelle und wählen Sie einen Speicherort für Ihren Workflow aus. Um einen gespeicherten Workflow zu laden, ziehen Sie einfach die .json-Datei in die ComfyUI-Schnittstelle. Der Workflow wird geladen und ist einsatzbereit.
Technische Analyse
Das Speichern von Workflows als .json-Dateien ermöglicht es Ihnen, diese einfach mit anderen zu teilen. Es ermöglicht Ihnen auch, Ihre Workflows zu versionieren, sodass Sie bei Bedarf einfach zu früheren Versionen zurückkehren können.
VRAM-Optimierungstechniken
Das Ausführen von SDXL mit hohen Auflösungen kann schnell VRAM erschöpfen, insbesondere auf Karten mit 8 GB oder weniger. Hier sind verschiedene Techniken, um dies zu mildern: