ComfyUI: Domine los flujos de trabajo de generación de imágenes con IA

ComfyUI: Domine la generación de imágenes con IA

SDXL a 1024x1024 consume VRAM. La ejecución de flujos de trabajo complejos con ControlNet puede poner de rodillas incluso a una 4090. Esta guía desglosa ComfyUI, desde la instalación hasta las técnicas avanzadas, centrándose en soluciones prácticas para entornos con recursos limitados. Cubriremos el aumento de resolución, imagen a imagen, ControlNet y el intercambio de caras, junto con estrategias cruciales de optimización de VRAM.

¿Qué es ComfyUI?

ComfyUI es una interfaz potente basada en nodos para Stable Diffusion. A diferencia de las herramientas más sencillas, ofrece un control granular sobre cada paso del proceso de generación de imágenes. Esta flexibilidad es a la vez su punto fuerte y su desafío: dominar ComfyUI requiere comprender la mecánica subyacente de los modelos de difusión.**

ComfyUI proporciona un enfoque modular para la generación de imágenes. Cada nodo representa una operación específica, como la carga de un modelo, el muestreo o la aplicación de un VAE. Al conectar estos nodos, se crean flujos de trabajo personalizados adaptados a sus necesidades específicas. Este nivel de control es esencial para las técnicas avanzadas y para lograr resultados coherentes. Herramientas como Promptus simplifican la creación de prototipos de estos flujos de trabajo en mosaico, lo que permite a los creadores iterar en las configuraciones de descarga más rápido.

Instalación y configuración [1:48]

En primer lugar, obtenga la última versión del repositorio oficial de ComfyUI en GitHub: ComfyUI Official. La instalación varía ligeramente en función de su sistema operativo. En Windows, hay disponible una versión portátil que solo requiere la extracción. Los usuarios de Linux tendrán que clonar el repositorio e instalar las dependencias.

Regla de oro: Asegúrese de tener los controladores más recientes para su GPU. Los controladores obsoletos son una causa común de errores y cuellos de botella en el rendimiento.

Después de la instalación, inicie ComfyUI. La interfaz predeterminada presenta un lienzo en blanco. Aquí es donde construirá sus flujos de trabajo.

Descarga de modelos [4:00]

ComfyUI admite una amplia gama de modelos de Stable Diffusion, VAE y ControlNet. Civitai es un recurso popular para encontrar modelos creados por la comunidad. Hugging Face también alberga numerosos modelos. Coloque los modelos descargados en los directorios apropiados dentro de la estructura de carpetas de ComfyUI.

models/Stable-diffusion: Para modelos base de Stable Diffusion.

models/VAE: Para modelos VAE (Variational Autoencoder).

models/ControlNet: Para modelos ControlNet.

Reinicie ComfyUI después de añadir nuevos modelos para que aparezcan en los menús de selección de nodos.

Flujo de trabajo de texto a imagen [7:25]

Vamos a construir un flujo de trabajo básico de texto a imagen. Esto ilustrará los conceptos básicos de ComfyUI.

1. Cargar punto de control: Añada un nodo "Cargar punto de control". Seleccione el modelo de Stable Diffusion que desee.
2. Codificación de texto CLIP (Prompt): Añada dos nodos "Codificación de texto CLIP". Uno para el prompt positivo y otro para el prompt negativo.
3. Imagen latente vacía: Añada un nodo "Imagen latente vacía". Configure el tamaño y el recuento de lotes. Para SDXL, 1024x1024 es común.
4. KSampler: Añada un nodo "KSampler". Este es el corazón del proceso de muestreo.
5. Decodificación VAE: Añada un nodo "Decodificación VAE". Esto convierte la imagen latente en una imagen visible.
6. Guardar imagen: Añada un nodo "Guardar imagen".

Conecte los nodos de la siguiente manera:

Cargar punto de control -> Codificación de texto CLIP (Positivo)

Cargar punto de control -> Codificación de texto CLIP (Negativo)

Cargar punto de control -> KSampler (modelo, clip)

Imagen latente vacía -> KSampler (latent_image)

Codificación de texto CLIP (Positivo) -> KSampler (positivo)

Codificación de texto CLIP (Negativo) -> KSampler (negativo)

KSampler -> Decodificación VAE (muestras)

Cargar punto de control -> Decodificación VAE (vae)

Decodificación VAE -> Guardar imagen (imágenes)

!Figura: Gráfico de nodos básico de texto a imagen a las 15:00

Figura: Gráfico de nodos básico de texto a imagen a las 15:00 (Fuente: Vídeo)*

Ajuste los parámetros de KSampler (semilla, pasos, escala CFG, nombre del muestreador, programador) para influir en la imagen generada. Una escala CFG más alta obliga a la imagen a adherirse más estrechamente al prompt, pero puede introducir artefactos.

Navegación, edición y atajos [21:30]

La interfaz de ComfyUI puede ser desalentadora al principio. Familiarícese con estos atajos esenciales:

Clic derecho:** Abre el menú contextual del nodo.

Ctrl+C, Ctrl+V:** Copiar y pegar nodos.

Suprimir:** Elimina los nodos seleccionados.

Mayús+Arrastrar:** Mueve varios nodos simultáneamente.

Ctrl+Clic+Arrastrar:** Conecta varios nodos.

Doble clic:** Busca un nodo para añadir.

Experimente con diferentes diseños y técnicas de organización. ComfyUI le permite agrupar nodos y añadir etiquetas para mayor claridad.

ComfyUI Manager [26:15]

ComfyUI Manager es una extensión muy valiosa que simplifica la instalación y la gestión de nodos y modelos personalizados. Es esencialmente un gestor de paquetes para ComfyUI.

¿Qué es ComfyUI Manager?

ComfyUI Manager simplifica la instalación y la gestión de nodos y modelos personalizados dentro de ComfyUI. Actúa como un gestor de paquetes, lo que permite a los usuarios buscar, instalar, actualizar y eliminar fácilmente extensiones sin manipulación manual de archivos.**

Para instalar ComfyUI Manager:

1. Vaya a su directorio de instalación de ComfyUI.
2. Clone el repositorio de ComfyUI Manager en la carpeta custom_nodes: git clone https://github.com/ltdrdata/ComfyUI-Manager
3. Reinicie ComfyUI.

ComfyUI Manager aparecerá como un nuevo elemento de menú en la interfaz de ComfyUI. Utilícelo para buscar e instalar nodos personalizados, actualizar los nodos existentes y gestionar las dependencias.

Aumento de resolución [28:43]

El aumento de resolución incrementa la resolución de una imagen. ComfyUI ofrece varios métodos de aumento de resolución. Un enfoque común consiste en utilizar un modelo de aumento de resolución dedicado.

1. Cargar imagen: Añada un nodo "Cargar imagen". Cargue la imagen a la que desea aumentar la resolución.
2. Cargador de modelos de aumento de resolución: Añada un nodo "Cargador de modelos de aumento de resolución". Seleccione el modelo de aumento de resolución que desee (por ejemplo, un modelo RealESRGAN).
3. Imagen de aumento de resolución: Añada un nodo "Imagen de aumento de resolución". Conecte la salida "imagen" del nodo "Cargar imagen" y la salida "modelo" del nodo "Cargador de modelos de aumento de resolución" al nodo "Imagen de aumento de resolución".
4. Guardar imagen: Añada un nodo "Guardar imagen" para guardar la imagen aumentada.

Experimente con diferentes modelos de aumento de resolución y factores de escala para lograr los resultados deseados.

Flujo de trabajo de imagen a imagen [37:49]

La generación de imagen a imagen utiliza una imagen existente como punto de partida. Esto le permite modificar y transformar