La realidad incomprendida de la IA: Inmersión profunda en ComfyUI

La realidad incomprendida de la IA: Inmersión profunda en ComfyUI

Jimmy Carr cree que todo el mundo está equivocado con respecto a la IA [Marca de tiempo]. Vamos a cortar la exageración y ser prácticos. Ejecutar SDXL a altas resoluciones consume VRAM como si no hubiera un mañana, especialmente en hardware de gama media. Esta guía profundiza en las técnicas para controlar el uso de la memoria y aumentar el rendimiento dentro de ComfyUI.

Verificación de pruebas de laboratorio

Antes de empezar, vamos a establecer una línea de base. Aquí hay algunas observaciones de mi equipo de prueba (4090/24 GB), ejecutando un flujo de trabajo SDXL estándar a 1024x1024:

Línea de base:** Renderizado de 22 s, pico de VRAM de 21,5 GB.

Decodificación VAE en mosaicos (mosaicos de 512 px, superposición de 64 px):** Renderizado de 18 s, pico de VRAM de 11 GB.

Sage Attention:** Renderizado de 28 s, pico de VRAM de 9 GB.

VAE en mosaicos + Sage Attention:** Renderizado de 35 s, pico de VRAM de 7,5 GB.

Existen compensaciones*. Sage Attention ahorra memoria, pero puede introducir artefactos sutiles a escalas CFG altas. La decodificación VAE en mosaicos añade una ligera sobrecarga de rendimiento, pero el ahorro de VRAM es sustancial.

¿Qué es la decodificación VAE en mosaicos?

La decodificación VAE en mosaicos es una técnica de ahorro de VRAM que decodifica imágenes en mosaicos más pequeños, reduciendo la huella de memoria. Las pruebas de la comunidad en X muestran que una superposición en mosaicos de 64 píxeles reduce las costuras. Es particularmente útil para imágenes más grandes donde la memoria es una limitación. Ofrece un equilibrio entre el uso de VRAM y la calidad de la imagen.**

Control de VRAM con la decodificación VAE en mosaicos

SDXL exige VRAM. La decodificación VAE en mosaicos es su primera línea de defensa. En lugar de decodificar todo el espacio latente a la vez, lo dividimos en mosaicos. Esto reduce significativamente la huella de memoria.

Lógica del gráfico de nodos:

1. Cargue su VAE.
2. Inserte un nodo "Decodificación VAE en mosaicos" después del VAE.
3. Establezca tile_size en 512.
4. Establezca overlap en 64.
5. Conecte la salida de decodificación VAE en mosaicos a su nodo de guardado de imágenes.

Herramientas como Promptus simplifican la creación de prototipos de estos flujos de trabajo en mosaicos.

Análisis técnico

La decodificación VAE en mosaicos funciona dividiendo la gran representación latente en trozos más pequeños y manejables. Cada trozo se decodifica de forma independiente y luego se vuelve a unir. El parámetro overlap es crucial; evita las costuras mezclando los bordes de los mosaicos adyacentes. Demasiada poca superposición y verá artefactos. Demasiada y estará desperdiciando computación.

Sage Attention: Una alternativa de memoria eficiente

Los mecanismos de atención estándar son devoradores de VRAM. Sage Attention ofrece una alternativa inteligente. Aproxima el cálculo de la atención, reduciendo el uso de la memoria con una ligera compensación de rendimiento.

Lógica del gráfico de nodos:

1. Localice su nodo KSampler.
2. Inserte un nodo "SageAttentionPatch" antes del KSampler.
3. Conecte la salida del nodo SageAttentionPatch a la entrada model del KSampler.
4. Asegúrese de que usefastattention esté desactivado en el KSampler (si está presente).

IMPORTANTE:** El uso de Sage Attention puede requerir ajustes en su prompt y escala CFG.

Análisis técnico

Sage Attention intercambia precisión por eficiencia. Logra ahorros de VRAM mediante el uso de una aproximación de rango inferior de la matriz de atención. Esto reduce la complejidad computacional de O(n^2) a O(n*k), donde k es el rango de la aproximación. ¿La desventaja? Puede introducir artefactos de textura sutiles, especialmente a escalas CFG más altas. Experimente para encontrar el punto óptimo.

¿Qué es Sage Attention?

Sage Attention es un mecanismo de atención de memoria eficiente diseñado para reducir el uso de VRAM en los flujos de trabajo de Stable Diffusion. Utiliza una aproximación de rango inferior de la matriz de atención, intercambiando algo de precisión por ahorros de memoria significativos. Esto lo hace adecuado para ejecutar modelos más grandes en hardware con VRAM limitada.**

Intercambio de bloques/capas: El último recurso

Cuando todo lo demás falla, puede descargar capas de modelo a la CPU. Esta es una medida drástica, ya que ralentiza significativamente la inferencia. Pero puede ser la diferencia entre ejecutar o no un modelo en una tarjeta de 8 GB.

Implementación:

ComfyUI carece de un nodo de intercambio de bloques incorporado. Necesitará un nodo o script personalizado. La idea básica es mover los primeros bloques de transformador a la CPU antes del muestreo, y luego volver a moverlos a la GPU cuando sea necesario.

python

Ejemplo (Conceptual - requiere nodo personalizado)

import torch

def swapblocktocpu(model, blockindex):

block = model.diffusionmodel.transformerblocks[block_index]

block.to("cpu")

def swapblocktogpu(model, blockindex):

block = model.diffusionmodel.transformerblocks[block_index]

block.to("cuda")

Uso:

swapblockto_cpu(model, 0) # Mover el primer bloque a la CPU

... ejecutar inferencia ...

swapblockto_gpu(model, 0) # Mover el bloque de nuevo a la GPU

Análisis técnico

El intercambio de bloques funciona aprovechando el hecho de que no todas las capas del modelo están igualmente activas en todo momento. Al mover las capas menos utilizadas a la CPU, liberamos VRAM en la GPU. Esto nos permite cargar modelos más grandes o usar resoluciones más altas. La penalización de rendimiento es significativa porque la transferencia de datos entre la CPU y la GPU es lenta.

¿Qué es el intercambio de bloques/capas?

El intercambio de bloques/capas implica descargar capas específicas de una red neuronal (generalmente bloques de transformador) de la GPU a la CPU para reducir el uso de VRAM. Esta técnica permite a los usuarios ejecutar modelos más grandes o resoluciones más altas en GPU con memoria limitada, pero tiene el costo de un mayor tiempo de procesamiento debido a la transferencia de datos entre la CPU y la GPU.**

Trucos de bajo VRAM LTX-2/Wan 2.2 para vídeo

La generación de vídeo aumenta aún más los requisitos de VRAM. LTX-2 y Wan 2.2 ofrecen varias optimizaciones para abordar esto.

Chunk Feedforward:** Procesar el vídeo en trozos de 4 fotogramas.

Hunyuan Low-VRAM:** Cuantificación FP8 + atención temporal en mosaicos.

Estas técnicas son complejas y requieren una sintonización cuidadosa. Pero pueden permitir la generación de vídeo en hardware que de otro modo sería imposible.

Análisis técnico

Chunk feedforward procesa el vídeo en segmentos más pequeños, reduciendo la huella de memoria de cada paso hacia adelante. Hunyuan Low-VRAM combina varias técnicas: la cuantificación FP8 reduce la precisión de los pesos del modelo, lo que reduce el uso de la memoria. La atención temporal en mosaicos aplica la atención solo a las regiones locales en el tiempo, lo que reduce aún más los requisitos de memoria.

Mi pila recomendada

Para mi flujo de trabajo, creo que el punto óptimo es una combinación de decodificación VAE en mosaicos y Sage Attention. Esto proporciona un buen equilibrio entre el ahorro de VRAM y el rendimiento. Utilizo ComfyUI por su flexibilidad y flujo de trabajo basado en nodos. Y Promptus simplifica la gestión y optimización del flujo de trabajo.

Regla de oro: Siempre pruebe cada técnica de optim