Anthropic a récemment dévoilé son dernier modèle d’intelligence artificielle, Claude 3.7 Sonnet, et son coût de formation a surpris de nombreux experts.
Contrairement aux modèles concurrents qui nécessitent des centaines de millions de dollars pour leur développement, Claude 3.7 Sonnet aurait coûté seulement “quelques dizaines de millions de dollars” à entraîner. Selon le professeur de Wharton Ethan Mollick, qui a relayé ces informations après un échange avec l’équipe d’Anthropic, ce modèle aurait utilisé moins de 10^26 FLOPs (opérations en virgule flottante) pour son entraînement.
Lire aussi :
- Comment la plateforme d’analyse des brevets de Patlytics révolutionne-t-elle la gestion de la propriété intellectuelle dans les entreprises et les cabinets d’avocats ?
- Les robots humanoïdes peuvent-ils réellement devenir des assistants domestiques efficaces et abordables dans un avenir proche ?
Une nouvelle approche dans l’entraînement des modèles
Malgré ces coûts modérés, Claude 3.7 Sonnet ne semble pas souffrir de lacunes en termes de performances. Son prédécesseur, Claude 3.5, sorti à l’automne 2024, aurait été développé pour un budget similaire. Cela indique une optimisation du processus d’entraînement, permettant d’obtenir un modèle performant sans nécessiter des moyens colossaux.
Cette stratégie pourrait redéfinir la façon dont les entreprises conçoivent et entraînent leurs intelligences artificielles. Jusqu’à présent, l’amélioration des performances des modèles de langage passait principalement par une augmentation exponentielle des coûts et des ressources de calcul. Anthropic, en réduisant considérablement l’investissement nécessaire, pourrait montrer qu’une autre voie est possible.
Une IA performante et abordable, mais pour combien de temps ?
Si Claude 3.7 Sonnet illustre qu’un modèle de pointe peut être développé à moindre coût, cela ne signifie pas nécessairement que cette tendance se maintiendra. Dario Amodei, PDG d’Anthropic, a déclaré que les futures générations de modèles nécessiteront probablement des investissements de plusieurs milliards de dollars.
En effet, le coût d’un modèle ne se limite pas à son entraînement. Les dépenses liées à la sécurisation, l’amélioration du raisonnement et l’optimisation des capacités de traitement sont de plus en plus élevées. Par ailleurs, l’apparition des modèles de raisonnement avancés, capables de traiter des problèmes complexes sur des périodes prolongées, augmente considérablement les coûts opérationnels.
Un tournant pour l’avenir de l’intelligence artificielle ?
L’approche d’Anthropic remet en question l’idée que seule une poignée d’acteurs disposant de budgets colossaux peuvent innover dans l’IA. Si d’autres entreprises adoptent des stratégies similaires, le développement de modèles avancés pourrait devenir plus accessible à des startups ou laboratoires indépendants.
Comet : le navigateur IA de Perplexity qui peut révolutionner la navigation web ?
Toutefois, reste à voir si cette méthode pourra être appliquée aux modèles de nouvelle génération ou si, à terme, l’innovation dans l’IA restera dominée par les géants technologiques capables d’investir plusieurs milliards dans chaque nouvelle avancée.
