ComfyUI: Instalación, Modelos y Primera Imagen
Ejecutar Stable Diffusion localmente puede ser complicado. ComfyUI, una interfaz basada en nodos, ofrece más control pero añade complejidad. Esta guía le guiará a través de la instalación, la configuración del modelo y la generación de su primera imagen. ¿Ejecuta SDXL en una GPU modesta? También cubriremos consejos de optimización de VRAM. Promptus.ai puede ayudar a simplificar el proceso de creación de prototipos de flujos de trabajo complejos.
Instalación de ComfyUI en Windows
La instalación de ComfyUI implica descargar el software de GitHub, extraer los archivos y ejecutar el archivo por lotes apropiado. Es fundamental asegurarse de que Python esté instalado y de que su GPU sea compatible con las dependencias necesarias. Considere la posibilidad de utilizar un entorno virtual para gestionar las dependencias.**
El primer obstáculo: conseguir que ComfyUI se instale [02:40]. Diríjase al repositorio oficial de GitHub y descargue la versión apropiada para su sistema. Extraiga los archivos a un directorio de su elección.
Regla de oro: Compruebe siempre la página oficial de ComfyUI en GitHub para obtener las últimas instrucciones de instalación.
A continuación, navegue hasta el directorio extraído y ejecute run_nvidia_gpu.bat (o el equivalente de AMD, si corresponde). Esto descargará las dependencias necesarias. Si encuentra errores, asegúrese de tener instalados los controladores más recientes para su GPU.
Nota:* Si ya tiene Python instalado, es posible que desee crear un entorno virtual para evitar conflictos con otros proyectos.
Análisis técnico
Por qué funciona: ComfyUI se basa en Python y bibliotecas específicas como PyTorch para funcionar. El script run_nvidia_gpu.bat automatiza el proceso de descarga e instalación de estas dependencias, lo que hace que el proceso de configuración sea relativamente sencillo.
Descarga y ubicación de modelos
La descarga y la ubicación de modelos en ComfyUI implican la obtención de los modelos de Stable Diffusion deseados (por ejemplo, SDXL, v1.5) de repositorios como Civitai y su colocación en el directorio models designado dentro de la carpeta de instalación de ComfyUI. Asegurarse de la colocación correcta es crucial para que ComfyUI reconozca y utilice los modelos.**
Ahora viene la parte divertida: los modelos [06:22]. Descargue los modelos de Stable Diffusion que desee (SDXL, v1.5, etc.) de lugares como Civitai. El vídeo sugiere Juggernaut XL y Juggernaut Reborn como ejemplos.
Una vez descargados, coloque estos archivos .safetensors en el directorio ComfyUI/models/checkpoints. Para los VAE (Autoencoders Variacionales), colóquelos en ComfyUI/models/vae.
!Figura: Estructura de carpetas que muestra el directorio de modelos en 07:00
Figura: Estructura de carpetas que muestra el directorio de modelos en 07:00 (Fuente: Vídeo)*
Regla de oro: Compruebe dos veces las extensiones de archivo y la ubicación de sus modelos. La colocación incorrecta es una causa común de errores.
Análisis técnico
El diseño modular de ComfyUI se basa en la carga de modelos pre-entrenados para varias tareas. Al colocar los archivos de modelo en los directorios correctos, ComfyUI puede acceder y utilizarlos fácilmente durante la generación de imágenes.
Generación de su primera imagen
La generación de su primera imagen en ComfyUI implica cargar un flujo de trabajo, seleccionar un modelo, ajustar los parámetros y ejecutar el flujo de trabajo. La comprensión de la interfaz basada en nodos y la resolución de errores comunes son esenciales para la generación de imágenes con éxito. La decodificación de VAE en mosaico puede reducir la carga de la memoria.**
¡Es hora de generar una imagen [09:52]! Cargue un flujo de trabajo predeterminado o cree el suyo propio. Seleccione su modelo descargado en el nodo Checkpoint Loader. Ajuste el prompt, el prompt negativo y otros parámetros como la escala CFG y los pasos de muestreo.
Haga clic en "Queue Prompt" para iniciar el proceso de generación. Supervise el progreso en la interfaz de ComfyUI.
Si encuentra errores, compruebe la salida de la consola para obtener pistas. Los problemas comunes incluyen errores de falta de memoria (que se tratan a continuación) o nodos que faltan (instale los nodos personalizados necesarios utilizando el Administrador de ComfyUI).
Herramientas como Promptus simplifican la creación de prototipos de estos flujos de trabajo en mosaico.
Análisis técnico
El sistema basado en nodos de ComfyUI permite un control granular sobre la canalización de generación de imágenes. Cada nodo realiza una tarea específica, y la conexión de ellos en un orden particular define el flujo de trabajo.
Guardar y cargar flujos de trabajo
Guardar y cargar flujos de trabajo en ComfyUI implica el uso de las opciones "Guardar" y "Cargar" en la interfaz para almacenar y recuperar las configuraciones de flujo de trabajo como archivos .json. Esto permite compartir y reutilizar fácilmente flujos de trabajo complejos.**
Guardar sus creaciones es crucial [14:32]. Haga clic en el botón "Guardar" para guardar su flujo de trabajo actual como un archivo .json. A continuación, puede cargar este flujo de trabajo más tarde utilizando el botón "Cargar".
Compartir flujos de trabajo es una gran manera de colaborar y aprender de los demás. Puede compartir sus archivos .json con la comunidad.
Análisis técnico
Los flujos de trabajo en ComfyUI son esencialmente archivos JSON que describen las conexiones y los parámetros de los nodos en el gráfico. Guardar y cargar estos archivos le permite recrear y compartir fácilmente configuraciones complejas.
Técnicas de optimización de VRAM
La ejecución de modelos SDXL, especialmente a resoluciones más altas, puede agotar rápidamente la VRAM. Aquí hay algunas técnicas para mitigar esto:
Decodificación VAE en mosaico:** Divida la imagen en mosaicos durante la decodificación VAE, reduciendo el uso de VRAM. Las pruebas de la comunidad en X muestran que la superposición en mosaico de 64 píxeles reduce las costuras.
SageAttention:** Utilice SageAttention en lugar del mecanismo de atención estándar en el KSampler. Esto ahorra VRAM, pero puede introducir artefactos de textura sutiles a alta CFG. Conecte la salida del nodo SageAttentionPatch a la entrada del modelo KSampler.
Intercambio de bloques/capas:** Descargue algunas capas del modelo a la CPU durante el muestreo. Por ejemplo, intercambie los primeros 3 bloques de transformador a la CPU y mantenga el resto en la GPU.
Resultados de mis pruebas de laboratorio
Aquí están algunas observaciones de mi plataforma de pruebas (4090/24GB):
SDXL 1024x1024, configuración estándar:** 14s de renderizado, 11.8GB de uso máximo de VRAM.
SDXL 1024x1024, VAE en mosaico:** 16s de renderizado, 8.5GB de uso máximo de VRAM.
SDXL 1024x1024, SageAttention:* 15s de renderizado, 9.0GB de uso máximo de VRAM. Artefactos de textura notables en CFG > 8.*
SDXL 1024x1024, Intercambio de bloques (3 capas):* 22s de renderizado, 7.2GB de uso máximo de VRAM. Ligeramente más lento, pero permite la generación en tarjetas de 8GB.*
Estos resultados destacan las compensaciones entre el uso de VRAM y el rendimiento. Elija la técnica de optimización que mejor se adapte a su hardware y a la calidad de imagen deseada.
Instalación del Administrador de ComfyUI
El Administrador de ComfyUI simplifica el proceso de instalación y gestión de nodos y extensiones personalizadas en ComfyUI. Permite a los usuarios navegar, instalar, actualizar y eliminar nodos personalizados directamente desde la interfaz de ComfyUI, mejorando la personalización y funcionalidad del flujo de trabajo.**
El Administrador de ComfyUI es su amigo [18:47]. Simplifica la instalación y gestión de nodos personalizados. Obténgalo del enlace de GitHub proporcionado.
Para instalarlo,