VIMAX : un pipeline agentique qui transforme une idée en vidéo complète
https://github.com/HKUDS/ViMax
📌 VIMAX est un framework Python multi-agents qui génère des vidéos à partir d’une idée, d’un roman ou d’un scénario. Le système orchestre automatiquement l’écriture du script, le découpage en plans, la création des personnages, la génération des images de référence et l’assemblage final — de bout en bout, sans intervention humaine.
Le point de départ est un texte libre. On décrit un concept en quelques phrases, on précise le public cible et le style visuel, et VIMAX se charge du reste. Le système découpe le récit en scènes, conçoit un storyboard avec un langage cinématographique adapté, génère les images de référence pour chaque plan, vérifie la cohérence des personnages d’un plan à l’autre, puis lance la génération vidéo en parallèle pour accélérer la production.
- 🧠 Idée en texte libre transformée en vidéo complète
- 📖 Adaptation automatique de romans en vidéos épisodiques
- 🎬 Scénario structuré converti en séquences filmées
- 📸 Intégration d’un visage personnel dans la vidéo (AutoCameo)
- 🔍 Vérification automatique de la cohérence entre les plans
- ⚡ Génération parallèle des plans pour une production rapide
L’architecture repose sur plusieurs agents spécialisés qui s’enchaînent dans un pipeline orchestré. Le premier agent extrait les personnages, les décors et les limites de chaque scène. Le deuxième conçoit le storyboard plan par plan, avec des indications de caméra et de rythme narratif. Le troisième sélectionne les images de référence les plus cohérentes en s’appuyant sur les plans précédents. Le quatrième génère les images et vérifie leur cohérence via un modèle de vision. Le dernier transforme les images en clips vidéo et assemble le tout sur une timeline.
Quatre modes de création sont disponibles. Idea2Video part d’une simple idée et produit une vidéo avec scénario, storyboard et montage. Novel2Video adapte un roman complet en contenu épisodique en compressant le récit tout en conservant les intrigues et les dialogues. Script2Video part d’un scénario structuré au format Hollywood et le transforme en séquences visuelles. AutoCameo permet d’importer une photo personnelle pour apparaître comme personnage dans la vidéo générée.
VIMAX s’inscrit dans une logique de production autonome plutôt que d’assistance ponctuelle. Au lieu de générer quelques secondes de footage isolé, le framework enchaîne toutes les étapes de la création vidéo — écriture, mise en scène, cohérence visuelle, montage — dans un seul processus automatisé qui peut traiter des récits longs avec des dizaines de plans.
