ComfyUI: Installation, Modelle & Erstes Bild
Das lokale Ausführen von Stable Diffusion kann mühsam sein. ComfyUI, eine knotenbasierte Schnittstelle, bietet mehr Kontrolle, erhöht aber die Komplexität. Diese Anleitung führt Sie durch die Installation, die Modellkonfiguration und die Generierung Ihres ersten Bildes. Möchten Sie SDXL auf einer moderaten GPU ausführen? Wir behandeln auch Tipps zur VRAM-Optimierung. Promptus.ai kann Ihnen helfen, den Prototyping-Prozess komplexer Workflows zu vereinfachen.
Installation von ComfyUI unter Windows
Die ComfyUI-Installation umfasst das Herunterladen der Software von GitHub, das Extrahieren der Dateien und das Ausführen der entsprechenden Batch-Datei. Es ist entscheidend, dass Python installiert ist und Ihre GPU mit den erforderlichen Abhängigkeiten kompatibel ist. Erwägen Sie die Verwendung einer virtuellen Umgebung zur Verwaltung von Abhängigkeiten.
Die erste Hürde: die Installation von ComfyUI [02:40]. Gehen Sie zum offiziellen GitHub-Repository und laden Sie die entsprechende Version für Ihr System herunter. Extrahieren Sie die Dateien in ein Verzeichnis Ihrer Wahl.
Goldene Regel: Überprüfen Sie immer die offizielle ComfyUI-GitHub-Seite auf die neuesten Installationsanweisungen.
Navigieren Sie anschließend zum extrahierten Verzeichnis und führen Sie die Datei runnvidiagpu.bat (oder das AMD-Äquivalent, falls zutreffend) aus. Dadurch werden die erforderlichen Abhängigkeiten heruntergeladen. Wenn Fehler auftreten, stellen Sie sicher, dass Sie die neuesten Treiber für Ihre GPU installiert haben.
Hinweis: Wenn Sie Python bereits installiert haben, sollten Sie eine virtuelle Umgebung erstellen, um Konflikte mit anderen Projekten zu vermeiden.
Technische Analyse
Warum das funktioniert: ComfyUI ist auf Python und bestimmte Bibliotheken wie PyTorch angewiesen, um zu funktionieren. Das Skript runnvidiagpu.bat automatisiert den Prozess des Herunterladens und Installierens dieser Abhängigkeiten, wodurch der Einrichtungsprozess relativ einfach wird.
Herunterladen und Platzieren von Modellen
Das Herunterladen und Platzieren von Modellen in ComfyUI umfasst das Beziehen der gewünschten Stable-Diffusion-Modelle (z. B. SDXL, v1.5) aus Repositories wie Civitai und das Platzieren dieser im dafür vorgesehenen models-Verzeichnis innerhalb des ComfyUI-Installationsordners. Die korrekte Platzierung ist entscheidend, damit ComfyUI die Modelle erkennt und verwendet.
Nun zum unterhaltsamen Teil: Modelle [06:22]. Laden Sie Ihre gewünschten Stable-Diffusion-Modelle (SDXL, v1.5 usw.) von Plattformen wie Civitai herunter. Das Video schlägt Juggernaut XL und Juggernaut Reborn als Beispiele vor.
Platzieren Sie diese .safetensors-Dateien nach dem Herunterladen im Verzeichnis ComfyUI/models/checkpoints. Für VAEs (Variationelle Autoencoder) platzieren Sie diese in ComfyUI/models/vae.
!Abbildung: Ordnerstruktur, die das Modelle-Verzeichnis bei 07:00 zeigt
Abbildung: Ordnerstruktur, die das Modelle-Verzeichnis bei 07:00 zeigt (Quelle: Video)
Goldene Regel: Überprüfen Sie die Dateierweiterungen und die Platzierung Ihrer Modelle. Eine falsche Platzierung ist eine häufige Fehlerursache.
Technische Analyse
Das modulare Design von ComfyUI basiert auf dem Laden vortrainierter Modelle für verschiedene Aufgaben. Durch das Platzieren der Modelldateien in den korrekten Verzeichnissen kann ComfyUI während der Bildgenerierung einfach darauf zugreifen und diese nutzen.
Generieren Ihres ersten Bildes
Das Generieren Ihres ersten Bildes in ComfyUI umfasst das Laden eines Workflows, das Auswählen eines Modells, das Anpassen von Parametern und das Ausführen des Workflows. Das Verständnis der knotenbasierten Schnittstelle und die Fehlerbehebung bei häufigen Fehlern sind für eine erfolgreiche Bildgenerierung unerlässlich. Tiled VAE Decode kann die Speicherbelastung reduzieren.
Zeit, ein Bild zu generieren [09:52]! Laden Sie einen Standard-Workflow oder erstellen Sie Ihren eigenen. Wählen Sie Ihr heruntergeladenes Modell im Knoten Checkpoint Loader aus. Passen Sie den Prompt, den Negativ-Prompt und andere Parameter wie CFG-Skala und Sampling-Schritte an.
Klicken Sie auf „Queue Prompt“, um den Generierungsprozess zu starten. Überwachen Sie den Fortschritt in der ComfyUI-Schnittstelle.
Wenn Fehler auftreten, überprüfen Sie die Konsolenausgabe auf Hinweise. Häufige Probleme sind Speicherfehler (siehe unten) oder fehlende Knoten (installieren Sie die erforderlichen benutzerdefinierten Knoten mit dem ComfyUI Manager).
Tools wie Promptus vereinfachen das Prototyping dieser gekachelten Workflows.
Technische Analyse
Das knotenbasierte System von ComfyUI ermöglicht eine detaillierte Kontrolle über die Bildgenerierungs-Pipeline. Jeder Knoten führt eine bestimmte Aufgabe aus, und das Verbinden dieser in einer bestimmten Reihenfolge definiert den Workflow.
Speichern und Laden von Workflows
Das Speichern und Laden von Workflows in ComfyUI umfasst die Verwendung der Optionen „Speichern“ und „Laden“ in der Schnittstelle, um Workflow-Konfigurationen als .json-Dateien zu speichern und abzurufen. Dies ermöglicht eine einfache Weitergabe und Wiederverwendung komplexer Workflows.
Das Speichern Ihrer Kreationen ist entscheidend [14:32]. Klicken Sie auf die Schaltfläche „Speichern“, um Ihren aktuellen Workflow als .json-Datei zu speichern. Sie können diesen Workflow dann später über die Schaltfläche „Laden“ laden.
Das Teilen von Workflows ist eine großartige Möglichkeit, zusammenzuarbeiten und von anderen zu lernen. Sie können Ihre .json-Dateien mit der Community teilen.
Technische Analyse
Workflows in ComfyUI sind im Wesentlichen JSON-Dateien, die die Verbindungen und Parameter der Knoten im Graphen beschreiben. Das Speichern und Laden dieser Dateien ermöglicht es Ihnen, komplexe Setups einfach wiederherzustellen und zu teilen.
VRAM-Optimierungstechniken
Das Ausführen von SDXL-Modellen, insbesondere bei höheren Auflösungen, kann den VRAM schnell erschöpfen. Hier sind einige Techniken, um dies zu mildern:
Tiled VAE Decode: Unterteilen Sie das Bild während der VAE-Decodierung in Kacheln, wodurch die VRAM-Nutzung reduziert wird. Community-Tests auf X zeigen, dass eine gekachelte Überlappung von 64 Pixeln Nähte reduziert.
SageAttention: Verwenden Sie SageAttention anstelle des Standard-Aufmerksamkeitsmechanismus im KSampler. Dies spart VRAM, kann aber bei hohen CFG subtile Texturartefakte verursachen. Verbinden Sie den SageAttentionPatch-Knotenausgang mit dem KSampler-Modelleingang.
Block/Layer Swapping: Lagern Sie einige Modellebenen während des Samplings auf die CPU aus. Tauschen Sie beispielsweise die ersten 3 Transformer-Blöcke zur CPU und behalten Sie den Rest auf der GPU.
Meine Labor-Testergebnisse
Hier sind einige Beobachtungen von meinem Testsystem (4090/24 GB):
SDXL 1024x1024, Standardeinstellungen: 14 s Renderzeit, 11,8 GB maximale VRAM-Nutzung.
SDXL 1024x1024, Tiled VAE: 16 s Renderzeit, 8,5 GB maximale VRAM-Nutzung.
SDXL 1024x1024, SageAttention: 15 s Renderzeit, 9,0 GB maximale VRAM-Nutzung. *Deutliche Texturartefakte bei CFG > 8.*
SDXL 1024x1024, Block Swapping (3 Ebenen): 22 s Renderzeit, 7,2 GB maximale VRAM-Nutzung. *Etwas langsamer, ermöglicht aber die Generierung auf 8-GB-Karten.*
Diese Ergebnisse verdeutlichen die Kompromisse zwischen VRAM-Nutzung und Leistung. Wählen Sie die Optimierungstechnik, die am besten zu Ihrer Hardware und der gewünschten Bildqualität passt.
Installation des ComfyUI Managers
Der ComfyUI Manager vereinfacht den Prozess der Installation und Verwaltung benutzerdefinierter Knoten und Erweiterungen in ComfyUI. Es ermöglicht Benutzern, benutzerdefinierte Knoten direkt über die ComfyUI-Schnittstelle zu durchsuchen, zu installieren, zu aktualisieren und zu entfernen, wodurch die Workflow-Anpassung und -Funktionalität verbessert werden.