Comment Luma permet-elle de créer et modifier des vidéos grâce à l’IA à partir de deux images clés ?

Luma, startup spécialisée dans l’IA vidéo et soutenue par le fonds a16z, vient de franchir une nouvelle étape avec le lancement de Ray3 Modify, un modèle d’intelligence artificielle capable de générer une vidéo à partir d’une image de départ et d’une image de fin.

Cette technologie vise avant tout les créateurs professionnels, studios et équipes marketing cherchant à modifier des séquences existantes sans perdre la performance humaine originale.

Lire aussi :

1. Comment la nouvelle fonctionnalité des Lunettes AI de Meta améliore-t-elle l’audition et l’expérience musicale ?
2. Comment l’assistant email de Google, CC, peut-il améliorer votre productivité quotidienne ?

Ray3 Modify : une nouvelle approche du montage vidéo par IA

Contrairement aux modèles de génération vidéo classiques, souvent difficiles à contrôler, Ray3 Modify se concentre sur la modification précise de séquences réelles. L’objectif est clair : permettre aux créateurs de transformer une vidéo existante tout en conservant le jeu d’acteur, les mouvements, le regard, le rythme et l’émotion capturés lors du tournage initial. Selon Luma, le modèle suit fidèlement la vidéo source, évitant les incohérences visuelles souvent reprochées aux outils génératifs.

Google Translate peut-il vraiment traduire une conversation en temps réel dans vos écouteurs ?

Transformer un acteur sans perdre son interprétation

L’un des points forts de Ray3 Modify réside dans l’utilisation d’images de référence de personnages. Les utilisateurs peuvent fournir un visuel de référence pour modifier l’apparence d’un acteur filmé, qu’il s’agisse d’un costume, d’une identité visuelle ou d’un personnage fictif. Le modèle applique ces transformations tout en respectant la performance originale. Cette approche ouvre la voie à des usages avancés dans la publicité, le cinéma ou les contenus de marque, où la cohérence visuelle est essentielle.

Générer une transition fluide entre deux images clés

Autre innovation majeure : la possibilité de fournir une image de début et une image de fin afin de générer automatiquement la séquence intermédiaire. Cette fonctionnalité permet de diriger précisément les transitions, les déplacements de personnages ou l’évolution d’une scène, tout en maintenant une continuité naturelle. Pour les créateurs, cela signifie un contrôle accru sur la narration visuelle, sans avoir à recréer ou retourner une scène physiquement.

Une stratégie ambitieuse dans un marché très concurrentiel

Ray3 Modify est accessible via la plateforme Dream Machine de Luma, déjà connue pour ses outils de génération vidéo. Ce lancement intervient peu après une levée de fonds massive de 900 millions de dollars, menée par Humain, une entreprise d’IA soutenue par le fonds souverain saoudien. Avec cette nouvelle ressource financière, Luma prévoit notamment la construction d’un cluster IA de 2 GW en Arabie saoudite, renforçant sa capacité de calcul et ses ambitions internationales.

Comment le déploiement de Sora sur Android marque-t-il une nouvelle étape pour OpenAI dans la création vidéo par intelligence artificielle ?

Face à des concurrents comme Runway ou Kling, Luma mise sur un positionnement clair : offrir aux créatifs un équilibre entre contrôle humain et puissance générative, là où beaucoup de modèles privilégient encore l’expérimentation brute. Ray3 Modify pourrait ainsi devenir un outil clé pour les studios souhaitant intégrer l’IA sans sacrifier la qualité artistique.