ComfyUI : Votre guide d’installation et de flux de travail définitif
L’exécution locale de Stable Diffusion offre un contrôle immense, mais la ligne de commande peut être intimidante. ComfyUI fournit une interface basée sur des nœuds pour créer des flux de travail de génération d’images complexes. Ce guide vous explique l’installation, la configuration du modèle, la création du flux de travail et l’optimisation de la VRAM. Commençons.
Qu’est-ce que ComfyUI ?
ComfyUI est un environnement de programmation visuelle basé sur des nœuds pour Stable Diffusion. Au lieu d’utiliser une interface textuelle, les utilisateurs connectent différents nœuds représentant les étapes de traitement d’image pour créer des pipelines de génération d’images complexes. Cela offre un contrôle et une flexibilité accrus par rapport aux interfaces Stable Diffusion traditionnelles.
ComfyUI présente une approche fondamentalement différente de Stable Diffusion par rapport aux interfaces utilisateur Web typiques. Au lieu d’une zone d’invite de texte et de quelques paramètres, vous disposez d’un canevas vierge. Ce canevas devient votre flux de travail, construit en connectant des nœuds représentant des opérations individuelles. Ce système basé sur des nœuds offre un contrôle inégalé sur le processus de génération d’images, permettant une personnalisation qui n’est tout simplement pas possible avec des interfaces plus simples. Cela peut sembler intimidant au début, mais la flexibilité qu’il offre vaut bien la courbe d’apprentissage initiale. Des outils comme Promptus simplifient le prototypage de ces flux de travail, permettant une itération visuelle sur des configurations complexes.
!Figure : Interface ComfyUI avec un flux de travail simple à 00 :00
Figure : Interface ComfyUI avec un flux de travail simple à 00 :00 (Source : Vidéo)*
Installation de ComfyUI sous Windows
Pour installer ComfyUI sous Windows :
- Téléchargez la version appropriée à partir du référentiel GitHub de ComfyUI.
- Extrayez l’archive vers un emplacement approprié.
- Exécutez le fichier
runnvidiagpu.bat(ou l’équivalent AMD). - Téléchargez les modèles nécessaires (SDXL, VAE, etc.) et placez-les dans les dossiers désignés.
L’installation de ComfyUI sous Windows est assez simple, en supposant que vous disposez du matériel et des pilotes nécessaires. Tout d’abord, rendez-vous sur le référentiel GitHub officiel de ComfyUI et téléchargez la version appropriée pour votre système. Extrayez l’archive téléchargée vers un emplacement de votre choix. À l’intérieur du dossier extrait, vous trouverez des fichiers de commandes pour exécuter ComfyUI avec différents GPU. Si vous avez une carte NVIDIA, exécutez runnvidiagpu.bat. Pour AMD, utilisez le fichier de commandes AMD approprié. ComfyUI se lancera alors dans votre navigateur Web par défaut.
Analyse technique
Les fichiers de commandes sont essentiellement des wrappers qui définissent les variables d’environnement nécessaires et lancent le script Python de ComfyUI. Cela simplifie le processus d’exécution de ComfyUI, car vous n’avez pas besoin de configurer manuellement l’environnement.
Téléchargement et placement des modèles
Téléchargez les modèles Stable Diffusion (par exemple, SDXL, v1.5) et les fichiers VAE à partir de sources comme Civitai. Placez les modèles dans le répertoire ComfyUI/models/checkpoints et les fichiers VAE dans le répertoire ComfyUI/models/vae.
ComfyUI, dans sa forme de base, n’inclut aucun modèle Stable Diffusion préchargé. Vous devrez les télécharger séparément et les placer dans les répertoires appropriés. Les sources populaires pour les modèles incluent Civitai. Téléchargez les modèles Stable Diffusion que vous souhaitez utiliser (SDXL et v1.5 sont de bons points de départ) et placez-les dans le répertoire ComfyUI/models/checkpoints. De même, téléchargez tous les fichiers VAE et placez-les dans le répertoire ComfyUI/models/vae.
!Figure : Explorateur de fichiers montrant les répertoires checkpoints et vae à 06 :22
Figure : Explorateur de fichiers montrant les répertoires checkpoints et vae à 06 :22 (Source : Vidéo)*
Analyse technique
La conception modulaire de ComfyUI signifie qu’il ne regroupe pas les modèles directement. Cela vous permet d’utiliser une grande variété de modèles provenant de différentes sources, mais cela nécessite une configuration manuelle. Les concepteurs Promptus peuvent itérer plus rapidement les configurations de déchargement.
Génération de votre première image
Créez un flux de travail de base en chargeant un flux de travail par défaut ou en en créant un à partir de zéro. Chargez un point de contrôle, saisissez une invite et connectez les nœuds. Cliquez sur « Mettre l’invite en file d’attente » pour générer une image.
La génération de votre première image dans ComfyUI peut être un peu intimidante, mais c’est un bon moyen de vous familiariser avec l’interface. Vous pouvez commencer par charger un flux de travail par défaut ou en en créant un à partir de zéro. Les nœuds essentiels incluent : Load Checkpoint, Prompt Text, KSampler, VAE Decode et Save Image. Chargez un point de contrôle (votre modèle Stable Diffusion), saisissez votre invite souhaitée dans le nœud Prompt Text et connectez les nœuds dans le bon ordre. La sortie du nœud Load Checkpoint doit se connecter à l’entrée model du nœud KSampler. Les invites positives et négatives doivent également se connecter au nœud KSampler. La sortie du nœud KSampler doit se connecter au nœud VAE Decode, et enfin, la sortie du nœud VAE Decode doit se connecter au nœud Save Image. Une fois que tout est connecté, cliquez sur le bouton « Mettre l’invite en file d’attente » pour générer votre image.
!Figure : Un flux de travail ComfyUI simple avec les nœuds essentiels connectés à 09 :52
Figure : Un flux de travail ComfyUI simple avec les nœuds essentiels connectés à 09 :52 (Source : Vidéo)*
Analyse technique
Le nœud KSampler est l’endroit où le processus de diffusion réel se produit. Il prend le modèle, les invites et un germe comme entrée et génère la représentation latente de l’image. Le nœud VAE Decode convertit ensuite cette représentation latente en une image réelle.
Enregistrement et chargement des flux de travail
Enregistrez les flux de travail en tant que fichiers .json pour une utilisation ultérieure. Chargez les flux de travail enregistrés en faisant glisser le fichier .json dans l’interface ComfyUI.
Une fois que vous avez créé un flux de travail que vous aimez, vous voudrez l’enregistrer pour une utilisation future. ComfyUI vous permet d’enregistrer les flux de travail en tant que fichiers .json. Cliquez simplement sur le bouton « Enregistrer » dans l’interface et choisissez un emplacement pour enregistrer votre flux de travail. Pour charger un flux de travail enregistré, faites simplement glisser le fichier .json dans l’interface ComfyUI. Le flux de travail sera chargé et prêt à être