Des chercheurs de Stanford et de l’Université de Washington ont réussi à entraîner un modèle d’intelligence artificielle de raisonnement, nommé s1, pour moins de 50 dollars en crédits de calcul cloud.
Ce modèle rivalise avec des références du domaine, comme o1 d’OpenAI et R1 de DeepSeek, en matière de raisonnement mathématique et de codage. Contrairement aux modèles nécessitant des investissements massifs, s1 a été entraîné en utilisant une approche innovante et économique.
Lire aussi :
- Comment CodeSignal utilise-t-il l’intelligence artificielle pour améliorer la formation aux compétences comportementales ?
- Comment l’intégration de l’IA dans Google Search va-t-elle transformer notre façon de rechercher des informations en 2025 ?
Une technique de distillation pour optimiser les performances
L’équipe de chercheurs a utilisé une méthode appelée distillation pour extraire les capacités de raisonnement d’un autre modèle d’IA. Concrètement, s1 a été affiné à partir du modèle Gemini 2.0 Flash Thinking Experimental de Google. Cette technique a déjà été exploitée par des chercheurs de Berkeley pour créer un modèle concurrent, bien que leur projet ait nécessité un budget plus élevé, avoisinant les 450 dollars.
En seulement 30 minutes, et en mobilisant 16 GPU Nvidia H100, s1 a atteint des performances impressionnantes. L’un des chercheurs impliqués, Niklas Muennighoff, estime qu’il pourrait aujourd’hui reproduire l’expérience pour environ 20 dollars.
Une menace pour les grandes entreprises d’IA ?
L’émergence de modèles performants à bas coût remet en question la domination des grandes entreprises comme OpenAI, Google et Meta, qui investissent des milliards de dollars dans l’entraînement de leurs IA. Si un modèle comme s1 peut être créé avec des moyens si réduits, cela soulève des interrogations sur la viabilité économique des géants du secteur.
D’ailleurs, OpenAI a récemment accusé DeepSeek d’avoir exploité illicitement son API pour entraîner son propre modèle. Google, de son côté, interdit la rétro-ingénierie de ses IA à des fins commerciales. Ces restrictions montrent bien la crainte des grandes entreprises face à cette démocratisation de la technologie.
Une avancée prometteuse mais avec des limites
Malgré son coût réduit et ses performances solides, s1 ne révolutionne pas encore l’intelligence artificielle. La distillation est une méthode efficace pour reproduire les capacités d’un modèle existant, mais elle ne permet pas d’innover radicalement. Pour véritablement repousser les limites de l’IA, des investissements colossaux restent nécessaires.
Toutefois, l’expérience menée par les chercheurs de Stanford et de l’Université de Washington prouve qu’il est possible d’obtenir des résultats significatifs sans mobiliser des ressources financières démesurées. Une avancée qui pourrait redéfinir l’avenir de l’intelligence artificielle et rendre la technologie plus accessible au plus grand nombre.
