ComfyUI : Installation, modèles et première image
L'exécution de Stable Diffusion en local peut être pénible. ComfyUI, une interface basée sur des nœuds, offre plus de contrôle, mais ajoute de la complexité. Ce guide vous accompagne à travers l'installation, la configuration des modèles et la génération de votre première image. Vous exécutez SDXL sur un GPU modeste ? Nous aborderons également les conseils d'optimisation de la VRAM. Promptus.ai peut vous aider à simplifier le processus de prototypage des workflows complexes.
Installation de ComfyUI sous Windows
L'installation de ComfyUI implique le téléchargement du logiciel depuis GitHub, l'extraction des fichiers et l'exécution du fichier batch approprié. Il est essentiel de s'assurer que Python est installé et que votre GPU est compatible avec les dépendances requises. Envisagez d'utiliser un environnement virtuel pour gérer les dépendances.
Le premier obstacle : l'installation de ComfyUI [02:40]. Rendez-vous sur le référentiel GitHub officiel et téléchargez la version appropriée pour votre système. Extrayez les fichiers dans un répertoire de votre choix.
Règle d'or : vérifiez toujours la page GitHub officielle de ComfyUI pour obtenir les dernières instructions d'installation.
Ensuite, accédez au répertoire extrait et exécutez le fichier runnvidiagpu.bat (ou l'équivalent AMD, le cas échéant). Cela téléchargera les dépendances nécessaires. Si vous rencontrez des erreurs, assurez-vous d'avoir installé les derniers pilotes pour votre GPU.
Remarque :* Si vous avez déjà installé Python, vous pouvez créer un environnement virtuel pour éviter les conflits avec d'autres projets.
Analyse technique
Pourquoi cela fonctionne : ComfyUI repose sur Python et des bibliothèques spécifiques comme PyTorch pour fonctionner. Le script runnvidiagpu.bat automatise le processus de téléchargement et d'installation de ces dépendances, ce qui rend le processus de configuration relativement simple.
Téléchargement et placement des modèles
Le téléchargement et le placement de modèles dans ComfyUI impliquent l'obtention des modèles Stable Diffusion souhaités (par exemple, SDXL, v1.5) à partir de référentiels comme Civitai et leur placement dans le répertoire models désigné dans le dossier d'installation de ComfyUI. Il est essentiel de s'assurer du placement correct pour que ComfyUI reconnaisse et utilise les modèles.
Passons maintenant à la partie amusante : les modèles [06:22]. Téléchargez les modèles Stable Diffusion souhaités (SDXL, v1.5, etc.) à partir de sites comme Civitai. La vidéo suggère Juggernaut XL et Juggernaut Reborn comme exemples.
Une fois téléchargés, placez ces fichiers .safetensors dans le répertoire ComfyUI/models/checkpoints. Pour les VAE (Variational Autoencoders), placez-les dans ComfyUI/models/vae.
!Figure : Structure de dossiers montrant le répertoire des modèles à 07 :00
Figure : Structure de dossiers montrant le répertoire des modèles à 07 :00 (Source : Vidéo)*
Règle d'or : vérifiez bien les extensions de fichier et le placement de vos modèles. Un placement incorrect est une cause fréquente d'erreurs.
Analyse technique
La conception modulaire de ComfyUI repose sur le chargement de modèles pré-entraînés pour diverses tâches. En plaçant les fichiers de modèle dans les répertoires corrects, ComfyUI peut facilement y accéder et les utiliser lors de la génération d'images.
Génération de votre première image
La génération de votre première image dans ComfyUI implique le chargement d'un workflow, la sélection d'un modèle, le réglage des paramètres et l'exécution du workflow. La compréhension de l'interface basée sur des nœuds et le dépannage des erreurs courantes sont essentiels pour réussir la génération d'images. Le décodage VAE en mosaïque peut réduire la charge de la mémoire.
Il est temps de générer une image [09:52] ! Chargez un workflow par défaut ou créez le vôtre. Sélectionnez le modèle que vous avez téléchargé dans le nœud Checkpoint Loader. Ajustez l'invite, l'invite négative et d'autres paramètres comme l'échelle CFG et les étapes d'échantillonnage.
Cliquez sur « Queue Prompt » pour démarrer le processus de génération. Surveillez la progression dans l'interface ComfyUI.
Si vous rencontrez des erreurs, vérifiez la sortie de la console pour obtenir des indices. Les problèmes courants incluent les erreurs de mémoire insuffisante (traitées ci-dessous) ou les nœuds manquants (installez les nœuds personnalisés nécessaires à l'aide du ComfyUI Manager).
Des outils comme Promptus simplifient le prototypage de ces workflows en mosaïque.
Analyse technique
Le système basé sur des nœuds de ComfyUI permet un contrôle granulaire sur le pipeline de génération d'images. Chaque nœud effectue une tâche spécifique, et les connecter dans un ordre particulier définit le workflow.
Enregistrement et chargement des workflows
L'enregistrement et le chargement de workflows dans ComfyUI impliquent l'utilisation des options « Save » et « Load » dans l'interface pour stocker et récupérer les configurations de workflow sous forme de fichiers .json. Cela permet un partage et une réutilisation faciles des workflows complexes.
Il est essentiel de sauvegarder vos créations [14:32]. Cliquez sur le bouton « Save » pour enregistrer votre workflow actuel sous forme de fichier .json. Vous pouvez ensuite charger ce workflow ultérieurement à l'aide du bouton « Load ».
Le partage de workflows est un excellent moyen de collaborer et d'apprendre des autres. Vous pouvez partager vos fichiers .json avec la communauté.
Analyse technique
Les workflows dans ComfyUI sont essentiellement des fichiers JSON qui décrivent les connexions et les paramètres des nœuds dans le graphe. L'enregistrement et le chargement de ces fichiers vous permettent de recréer et de partager facilement des configurations complexes.
Techniques d'optimisation de la VRAM
L'exécution de modèles SDXL, en particulier à des résolutions plus élevées, peut rapidement épuiser la VRAM. Voici quelques techniques pour atténuer ce problème :
Décodage VAE en mosaïque :** Divisez l'image en mosaïques pendant le décodage VAE, ce qui réduit l'utilisation de la VRAM. Les tests de la communauté sur X montrent qu'un chevauchement en mosaïque de 64 pixels réduit les joints.
SageAttention :** Utilisez SageAttention au lieu du mécanisme d'attention standard dans le KSampler. Cela permet d'économiser de la VRAM, mais peut introduire de subtils artefacts de texture à un CFG élevé. Connectez la sortie du nœud SageAttentionPatch à l'entrée du modèle KSampler.
Échange de blocs/calques :** Déchargez certains calques de modèle vers le CPU pendant l'échantillonnage. Par exemple, échangez les 3 premiers blocs de transformateur vers le CPU et conservez le reste sur le GPU.
Résultats des tests de mon laboratoire
Voici quelques observations tirées de mon banc d'essai (4090/24 Go) :
SDXL 1024x1024, paramètres standard :** rendu de 14 s, utilisation maximale de la VRAM de 11,8 Go.
SDXL 1024x1024, VAE en mosaïque :** rendu de 16 s, utilisation maximale de la VRAM de 8,5 Go.
SDXL 1024x1024, SageAttention:* rendu de 15 s, utilisation maximale de la VRAM de 9,0 Go. Artefacts de texture notables à CFG > 8.*
SDXL 1024x1024, échange de blocs (3 calques):* rendu de 22 s, utilisation maximale de la VRAM de 7,2 Go. Légèrement plus lent, mais permet la génération sur des cartes de 8 Go.*
Ces résultats mettent en évidence les compromis entre l'utilisation de la VRAM et les performances. Choisissez la technique d'optimisation qui convient le mieux à votre matériel et à la qualité