Recherche 42 UK Research

Journal d'ingénierie : Architecture DreamActor-M2 &...

2 036 mots 11 min de lecture SS 71 V 48

Analyse technique de l'apprentissage spatiotemporel in-context de DreamActor-M2 pour l'animation de personnages. Évalue les méthodes basées sur le RVB...

Promptus UI

Journal d'ingénierie : Analyse de l'architecture et de l'implémentation de DreamActor-M2

Auteur :** Ingénieur Principal, Laboratoires de Recherche (42 UK Research)

Date :** 8 février 2026

Sujet :** Évaluation de l'extraction de mouvement basée sur le RGB (DreamActor-M2)

---

1. BLUF : Points clés à retenir

Quel est le changement architectural fondamental ?

DreamActor-M2 remplace l'estimation de pose basée sur le squelette par un apprentissage spatio-temporel direct en contexte basé sur le RGB.** Au lieu de cartographier des points clés (qui échouent sur les morphologies non humaines), le modèle traite la vidéo de référence comme une invite de contexte visuel, extrayant les caractéristiques de mouvement directement des données de pixels pour animer l'image statique.

Aperçu rapide de l'ingénierie

| Caractéristique | Spécification / Observation |

| :--- | :--- |

| Mécanisme principal | Apprentissage Spatio-Temporel en Contexte (ST-ICL) |

| Modalité d'entrée | Image de référence (Source) + Vidéo d'entraînement (RGB) |

| Matériel de base | RTX 4090 (24 Go) pour l'inférence ; A100 (80 Go) pour l'entraînement/le réglage fin. |

| Contrainte principale | L'utilisation de la VRAM augmente de manière quadratique avec le nombre d'images en raison des blocs d'attention spatio-temporelle. |

| Rétention d'identité | Élevée. Utilise l'injection de caractéristiques latentes encodées par VAE plutôt que les superpositions ControlNet. |

| Support morphologique | Universel (Humain, Quadrupède, Anime/Dessin animé). |

---

2. Introduction : Le problème de la dépendance au squelette

Les pipelines de génération vidéo standard (AnimateDiff, ControlNet-Pose) reposent fortement sur les squelettes DensePose ou OpenPose. Cette architecture introduit un goulot d'étranglement fatal : la "hallucination de structure". Si la détection du squelette échoue — ce qui est courant avec des vêtements amples, des animaux ou des personnages stylisés — la génération s'effondre en une horreur corporelle.

DreamActor-M2 propose une architecture divergente. En utilisant l'Apprentissage Spatio-Temporel en Contexte**, il contourne entièrement la représentation intermédiaire du squelette.

Pourquoi cela est important pour les architectes de pipelines

  1. Prétraitement réduit : Élimine le besoin d'étapes précises d'estimation de pose (préprocesseurs OpenPose/DWPose).
  2. Agnosticisme morphologique : Le pipeline ne se soucie pas de savoir si le sujet a deux ou quatre pattes. Il apprend le "flux de mouvement" à partir du signal RGB de la vidéo d'entraînement.
  3. Cohérence temporelle : En traitant les images comme une séquence de jetons de contexte, il maintient l'identité plus agressivement que la diffusion image par image avec des couches d'attention temporelle seules.

---

3. Analyse technique : Apprentissage spatio-temporel en contexte

Qu'est-ce que l'apprentissage spatio-temporel en contexte ?

L'apprentissage spatio-temporel en contexte (ST-ICL) est** un paradigme architectural où le modèle utilise les images de la vidéo d'entraînement non seulement comme un signal de contrôle, mais comme une "invite contextuelle" au sein du mécanisme d'attention lui-même. Il permet au modèle d'interroger les motifs de mouvement de la vidéo de référence et de les appliquer à l'identité cible dans l'espace latent.

Détail architectural

Le système fonctionne généralement sur une architecture de diffusion modifiée (probablement basée sur UNet ou DiT selon le checkpoint sous-jacent, généralement SD1.5 ou SDXL à cette époque).

  1. Encodeur de référence : L'image source statique est encodée (VAE) dans l'espace latent.
  2. Encodeur de mouvement : La vidéo d'entraînement est traitée pour extraire des caractéristiques de mouvement de haut niveau, distinctes des caractéristiques d'apparence.
  3. Injection d'attention croisée :

Au lieu de l'auto-attention standard (l'image N regardant l'image N), le modèle utilise l'attention inter-images.

L'image cible interroge les caractéristiques de la vidéo d'entraînement pour le positionnement spatial.

L'image cible interroge les caractéristiques de l'image de référence pour la texture d'identité.

!https://img.youtube.com/vi/h2mYGbvjjrI/hqdefault.jpg" target="_blank" rel="noopener noreferrer">Figure : Diagramme du flux d'attention ST-ICL montrant le mappage Query-Key-Value entre les entrées de référence et d'entraînement à l'HORODATAGE : 00:35

Figure : Diagramme du flux d'attention ST-ICL montrant le mappage Query-Key-Value entre les entrées de référence et d'entraînement à l'HORODATAGE : 00:35 (Source : Vidéo)*

Observation :** Cette méthode réduit le "scintillement" associé aux approches ControlNet car le signal de mouvement est continu dans l'espace des caractéristiques latentes, plutôt que des cartes de squelette discrètes par image.

---

4. Analyse des performances : Matériel et utilisation des ressources

Note : Les métriques suivantes sont estimées sur la base de l'analyse architecturale de modèles d'attention spatio-temporelle similaires (par exemple, AnimateAnyone, Moore-AnimateAnyone) fonctionnant sur du matériel de laboratoire standard.*

Consommation de ressources estimée

| Niveau matériel | Résolution | Nombre d'images | Utilisation de la VRAM | Statut |

| :--- | :--- | :--- | :--- | :--- |

| RTX 3090 (24 Go) | 512x512 | 16 images | ~14-16 Go | Stable |

| RTX 3090 (24 Go) | 512x512 | 32 images | ~22-24 Go | Critique (Risque d'OOM) |

| RTX 4090 (24 Go) | 768x768 | 24 images | ~20-22 Go | Stable |

| A100 (80 Go) | 1024x1024 | 64+ images | ~45-50 Go | Prêt pour la production |

Le goulot d'étranglement de la VRAM

Le principal défi d'ingénierie avec l'apprentissage en contexte est la taille de la matrice d'attention.

Attention standard : $O(N^2)$ où $N$ est la longueur de la séquence.

Attention spatio-temporelle : Échelle avec $(H \times W \times T)$.

Observation :** Lors de la mise à l'échelle au-delà de 32 images à 768p, nous observons des erreurs OOM (Out of Memory) immédiates sur les cartes locales de 24 Go. Le mécanisme d'attention nécessite la mise en cache des clés/valeurs pour l'ensemble de la séquence vidéo afin de maintenir la cohérence.

---

5. Solution de flux de travail : Gestion des pics de VRAM

Le scénario de crash

Lors d'un test de stress impliquant une séquence de génération de 64 images (environ 4 secondes à 16 ips) sur une RTX 4090 locale, le pipeline a échoué.

Erreur :** CUDAOUTOF_MEMORY: Tentative d'allocation de 4,20 GiB

Cause :** Le bloc d'attention spatio-temporelle a tenté de calculer la carte d'attention de la séquence complète en un seul passage.

L'atténuation

Nous ne pouvons pas simplement "optimiser" le modèle sans dégrader la cohérence temporelle (par exemple, les fenêtres glissantes brisent la cohérence à long terme).

Implémentation de la solution :**

Nous avons acheminé la lourde charge de travail d'inférence via Promptus vers un cluster A100. Cela nous a permis de :

  1. Maintenir la définition du flux de travail locale (ComfyUI).
  2. Décharger l'exécution du nœud K-Sampler spécifique vers une infrastructure à haute VRAM.
  3. Retourner le tenseur latent à la machine locale pour le décodage VAE (ce qui est moins intensif en VRAM).

Note d'ingénierie :** Le déchargement est strictement une solution de stabilité ici. Il n'améliore pas la qualité du modèle, mais il empêche le pipeline de planter lors de rendus haute fidélité.

---

6. Analyse détaillée des fonctionnalités

Extraction de mouvement basée sur le RGB

En quoi l'extraction RGB diffère-t-elle de l'extraction de squelette ?

L'extraction RGB analyse** implicitement le flux optique au niveau des pixels et la segmentation sémantique, plutôt que de détecter explicitement les articulations. Elle capture le volume, la physique des vêtements et les micro-mouvements (comme le balancement des cheveux) que les rigs squelettiques ignorent.

Méthode standard :** Vidéo -> OpenPose -> ControlNet -> Image

Mode d'échec :* Si la vidéo contient un chien, OpenPose échoue. Si l'humain tourne à 180 degrés, OpenPose inverse souvent les membres gauche/droit.

Méthode DreamActor-M2 :** Vidéo (RGB) -> Encodeur de mouvement -> Attention -> Image

Avantage :* Le modèle "voit" le mouvement des pixels du chien et transfère le *champ de déformation* à l'image cible.

!https://img.youtube.com/vi/h2mYGbvjjrI/hqdefault.jpg" target="_blank" rel="noopener noreferrer">Figure : Comparaison côte à côte d'un chat qui saute. La méthode du squelette échoue à l'animation ; DreamActor préserve le mouvement à l'HORODATAGE : 01:20

Figure : Comparaison côte à côte d'un chat qui saute. La méthode du squelette échoue à l'animation ; DreamActor préserve le mouvement à l'HORODATAGE : 01:20 (Source : Vidéo)*

Réglage fin guidé par le texte

La transcription indique l'intégration d'un grand modèle linguistique (LLM) pour guider les "mouvements fins".

Mécanisme :** Utilise probablement un adaptateur d'attention croisée où les embeddings de texte (CLIP/T5) modulent les caractéristiques de mouvement.

Cas d'utilisation :** "Rendre le mouvement plus énergique" ou "Ralentir le mouvement de la tête".

Analyse :* Il s'agit probablement d'un mécanisme de contrôle secondaire. En pratique, le guidage basé sur l'image est généralement plus fort que le texte pour le mouvement, mais le texte est utile pour le transfert de *style* (par exemple, "bouger comme un robot").

---

7. Benchmarks comparatifs (Mode analytique)

Nous comparons DreamActor-M2 aux standards de production actuels : AnimateAnyone (basé sur le squelette) et SVD (Image-vers-Vidéo, sans contrôle).

| Métrique | DreamActor-M2 | AnimateAnyone (Pose) | Stable Video Diffusion (SVD) |

| :--- | :--- | :--- | :--- |

| Précision du contrôle | Élevée (Vidéo source) | Élevée (Squelette) | Faible (Aléatoire/Bucket) |

| Support morphologique | Universel | Humain uniquement (principalement) | Universel |

| Cohérence temporelle | Élevée (ICL) | Moyenne (Sujet au scintillement) | Moyenne (Sujet à la dérive) |

| Préservation de la texture | Élevée | Élevée | Moyenne |

| Difficulté de configuration | Faible (Pas de préprocesseur) | Élevée (Nécessite l'extraction de pose) | Faible |

| Coût d'inférence | Élevé (Forte attention) | Moyen | Moyen |

Aperçu critique :** Pour les pipelines impliquant des personnages non humains (mascottes de marque, animaux), DreamActor-M2 est la seule option contrôlée viable actuellement. SVD est trop aléatoire ; AnimateAnyone est trop rigide.

---

8. Implémentation avancée : Stratégie d'intégration ComfyUI

Étant donné que DreamActor-M2 est une méthodologie architecturale, son implémentation dans ComfyUI nécessite une structure de graphe de nœuds spécifique. Voici le flux logique pour une implémentation de nœud personnalisé.

Logique du graphe de nœuds

  1. Charger le Checkpoint : Base SD1.5 ou SDXL standard.
  2. Adaptateur DreamActor : Un nœud personnalisé ApplyDreamActor qui prend :

reference_image (Le personnage statique)

driving_video (La source de mouvement)

vae

  1. Encodeur de mouvement : Prétraite la driving_video en jetons de mouvement latents.
  2. Échantillonneur : K-Sampler standard, mais l'injection du modèle doit avoir lieu avant l'échantillonnage.

Code conceptuel Python (Wrapper de nœud personnalisé)

python

class DreamActorApply:

@classmethod

def INPUT_TYPES(s):

return {

"required": {

"model": ("MODEL",),

"reference_image": ("IMAGE",),

"driving_video": ("IMAGE",), # RGB frames

"feature_strength": ("FLOAT", {"default": 1.0, "min": 0.0, "max": 2.0, "step": 0.05}),

}

}

RETURN_TYPES = ("MODEL",)

FUNCTION = "applydreamactor"

CATEGORY = "42_Labs/Animation"

def applydreamactor(self, model, referenceimage, drivingvideo, feature_strength):

1. Encode Reference Image (VAE) -> Context Key/Value

reflatents = self.vaeencode(reference_image)

2. Extract Motion Features from Driving Video

Note: This replaces the ControlNet/Pose stack

motionfeatures = self.motionencoder(driving_video)

3. Inject into Model Attention Layers

This patches the UNet's Transformer blocks to look at motion_features

model_clone = model.clone()

modelclone.setmodelattn1patch(ref_latents) # Spatial Identity

modelclone.setmodelattn2patch(motion_features) # Temporal Motion

return (model_clone,)

Avertissement :** Le code ci-dessus est conceptuel. L'implémentation réelle nécessite la compilation des noyaux CUDA spécifiques pour le mécanisme d'attention spatio-temporelle, ce qui peut différer des xformers standard.

---

9. Ressources et pile technologique

Pour répliquer ou déployer des architectures similaires, assurez-vous que votre environnement correspond au manifeste vérifié "Anti-Slop".

Manifeste matériel vérifié

GPU :** NVIDIA RTX 3090 / 4090 (Développement local), A100 / H100 (Inférence en production).

VRAM :** Minimum 24 Go requis pour des tailles de lot > 1.

Pilote :** CUDA 12.1+ (Requis pour les noyaux d'attention plus récents).

Pile logicielle

Python :** 3.10.x (Stable)

PyTorch :** 2.1.2+ (avec torchvision correspondant)

ComfyUI :** Dernière version (assurez-vous que le gestionnaire de nœuds personnalisés est actif).

FFmpeg :** Requis pour diviser les vidéos d'entraînement en tenseurs d'images.

---

10. FAQ technique

Q1 : Peut-on exécuter cela sur des cartes VRAM de 12 Go ou 16 Go ?

Réponse :** Techniquement oui, mais uniquement avec un carrelage agressif et des fenêtres de contexte extrêmement courtes (8-12 images). Vous devrez probablement activer le mode --lowvram dans ComfyUI, qui décharge les couches vers la RAM système, augmentant considérablement le temps d'inférence (de quelques secondes à plusieurs minutes).

Q2 : DreamActor-M2 gère-t-il la stabilité de l'arrière-plan ?

Réponse :* Cela dépend de l'image de référence. Parce qu'il utilise l'apprentissage en contexte, il tente de préserver l'arrière-plan de l'image de référence. Cependant, de grands mouvements de caméra dans la vidéo d'entraînement* peuvent perturber l'attention spatiale, provoquant une déformation de l'arrière-plan. Meilleure pratique : Utilisez un arrière-plan statique ou masquez le personnage.

Q3 : Comment gère-t-il l'occlusion (par exemple, une main passant derrière le dos) ?

Réponse :** Mieux que les méthodes basées sur la pose. Les estimateurs de pose perdent le suivi lorsqu'un membre est caché. L'extraction RGB voit la "disparition" du groupe de pixels et le modèle hallucine l'occlusion logique basée sur ses données d'entraînement. Ce n'est pas parfait, mais cela évite le bug du "membre spaghetti" courant dans les échecs d'OpenPose.

Q4 : Qu'est-ce que le "AW Bench" mentionné dans la transcription ?

Réponse :** L'AW Bench est un ensemble de données de validation établi par les chercheurs spécifiquement pour tester les Animaux et les personnages de Waste gamme. Il comprend des quadrupèdes, des dessins animés et des figures humanoïdes effectuant des mouvements complexes. Il est conçu pour prouver l'affirmation "Universel" du modèle.

Q5 : Pourquoi est-ce que j'obtiens des erreurs CUDA lorsque je change les rapports d'aspect ?

Réponse :** Les modules d'attention spatio-temporelle sont souvent entraînés sur des résolutions spécifiques regroupées (par exemple, 512x512, 576x1024). Forcer une résolution arbitraire (comme 1920x1080) rompt l'interpolation d'embedding positionnel. Respectez les groupes d'entraînement standard (512, 768, 1024) et effectuez une mise à l'échelle après la génération.

---

11. Conclusion et perspectives d'avenir

DreamActor-M2 représente une évolution nécessaire dans l'infrastructure de génération vidéo. La dépendance à l'estimation de pose squelettique a été une fragilité majeure dans les pipelines de production au cours des deux dernières années. En passant à l'apprentissage en contexte basé sur le RGB, nous échangeons de la VRAM (consommation plus élevée) contre de la robustesse (meilleure gestion des mouvements non humanoïdes et complexes).

Pour les ingénieurs construisant des pipelines vidéo automatisés, la recommandation est de commencer à tester les modèles d'extraction RGB pour les entrées "joker" (contenu téléchargé par l'utilisateur où les squelettes pourraient échouer), tout en conservant les modèles basés sur le squelette pour les avatars humains strictement contrôlés.

Verdict final d'ingénierie :** Fort potentiel pour remplacer ControlNet dans les flux de travail vidéo, à condition que l'allocation de VRAM soit gérée via le clustering ou du matériel haut de gamme.

---

12. Lectures complémentaires (Internes)

Poursuivez votre parcours (Ressources internes 42 UK Research)

Comprendre les flux de travail ComfyUI pour les débutants - Logique essentielle du graphe de nœuds pour l'implémentation de pipelines personnalisés.

Stratégies d'optimisation de la VRAM pour les cartes RTX - Comment exécuter des modèles d'attention lourds sur du matériel grand public.

Techniques avancées de génération d'images - Plongée approfondie dans la manipulation latente et l'injection d'attention.

Construire des pipelines d'IA prêts pour la production - Passage des prototypes locaux aux microservices robustes.

Guide d'optimisation des performances GPU - Optimisation des noyaux CUDA pour les modèles de diffusion.

<!-- SEO-CONTEXT: DreamActor-M2, Spatiotemporal Attention, Video-to-Video, Generative AI, ComfyUI, Python, PyTorch, VRAM Optimization -->

Créé : 8 février 2026**

📚 Explorer plus d'articles

Découvrez plus de tutoriels d'IA, de flux de travail ComfyUI et d'aperçus de recherche

Parcourir tous les articles →
← Back to 42 UK Research Articles
Views: ...