Fondé par Mira Murati, ancienne directrice technique d’OpenAI, Thinking Machines Lab intrigue depuis son lancement grâce à ses 2 milliards de dollars de financement et à son équipe composée d’anciens chercheurs de renom.
Mercredi, le laboratoire a publié son premier billet de recherche, offrant un aperçu de ses travaux. L’objectif annoncé : créer des modèles d’IA capables de générer des réponses reproductibles, et donc plus fiables.
Lire aussi :
- Spotify lance des « smart filters » pour trier sa bibliothèque par activité, humeur ou genre
- Bluesky introduit les « posts sauvegardés », une nouvelle fonction de signets privés
Comprendre la source de l’aléatoire dans les réponses
Le billet, intitulé « Defeating Nondeterminism in LLM Inference », met en lumière une réalité bien connue : les grands modèles de langage actuels sont non déterministes. Autrement dit, poser plusieurs fois la même question à un outil comme ChatGPT peut donner des réponses différentes.
Pour Horace He, chercheur au sein du laboratoire, cette variabilité ne serait pas une fatalité. Il identifie la racine du problème dans la manière dont les kernels GPU — les petits programmes internes aux puces Nvidia — s’enchaînent lors du processus d’inférence. Selon lui, une orchestration plus stricte de cette étape permettrait de réduire fortement l’aléatoire et de tendre vers un comportement plus déterministe.
Des bénéfices pour la recherche et les entreprises
La reproductibilité des réponses d’un modèle ne relève pas uniquement d’un souci académique. Pour les entreprises et les scientifiques, disposer de résultats constants et vérifiables est crucial, que ce soit pour analyser des données sensibles ou pour automatiser des décisions. Horace He souligne également que cette cohérence améliorerait les méthodes d’apprentissage par renforcement (RL), largement utilisées pour perfectionner les modèles.
En effet, si les réponses varient trop, les signaux de récompense deviennent bruyants, ce qui ralentit ou perturbe l’entraînement. En rendant les sorties d’IA plus stables, Thinking Machines Lab espère accélérer le développement de modèles personnalisés pour les entreprises, un objectif déjà partagé avec ses investisseurs.
Une vision ouverte, mais un pari à confirmer
Mira Murati a indiqué que le premier produit du laboratoire serait dévoilé dans les prochains mois, et qu’il devrait se révéler particulièrement utile pour les chercheurs et les startups spécialisées dans la création de modèles sur mesure. Reste à savoir si les techniques explorées dans ce billet feront partie intégrante de cette première offre.
Thinking Machines Lab affirme également vouloir adopter une culture de recherche ouverte, en publiant régulièrement des billets, du code et d’autres ressources. Une approche qui rappelle les débuts d’OpenAI, avant que l’organisation ne devienne beaucoup plus fermée à mesure qu’elle gagnait en puissance.
Mistral AI : le rival français d’OpenAI qui veut s’imposer sur la scène mondiale
Ce premier billet de la série Connectionism offre un aperçu rare de l’intérieur de l’un des laboratoires les plus secrets de la Silicon Valley. En s’attaquant à la question de la cohérence et de la reproductibilité des modèles d’IA, Thinking Machines Lab touche à un défi fondamental du secteur. La vraie question est désormais de savoir si le laboratoire saura transformer ces avancées en produits concrets capables de justifier sa valorisation à 12 milliards de dollars.
