Une analyse menée par Epoch AI, un institut de recherche en intelligence artificielle à but non lucratif, suggère que l’industrie de l’IA pourrait bientôt atteindre une limite dans les gains de performance des modèles d’IA de raisonnement.
Selon l’étude, les progrès réalisés dans ce domaine pourraient ralentir dès l’année prochaine.
Lire aussi :
- Apple introduit les fonctionnalités satellites d’urgence sur l’iPhone 13 avec iOS 18.5 : cela améliorera-t-il la sécurité des utilisateurs ?
- L’AI Futures Fund de Google aidera-t-il les startups à se développer plus rapidement et à façonner l’avenir de l’IA ?
L’essor des modèles de raisonnement : progrès impressionnants mais limités
Les modèles de raisonnement, tels que l’o3 d’OpenAI, ont récemment montré des gains significatifs sur des bancs d’essai d’IA, notamment dans des domaines tels que les compétences en mathématiques et en programmation. Ces modèles utilisent plus de puissance de calcul pour résoudre des problèmes complexes, ce qui améliore leurs performances. Cependant, cette approche a un inconvénient : elle prend plus de temps pour accomplir une tâche que les modèles conventionnels.
Le processus de développement des modèles de raisonnement repose sur une technique d’apprentissage appelée apprentissage par renforcement. Après avoir formé un modèle conventionnel sur un vaste ensemble de données, cette méthode permet d’ajouter des “retours” sur les solutions du modèle face à des problèmes difficiles, ce qui améliore sa capacité de raisonnement.
Le PDG d’OpenAI accusé de sacrifier une huile précieuse : une erreur culinaire qui fait tache
Des limites potentielles : l’IA pourrait atteindre un plafond
Selon l’analyse de Epoch, bien que les performances des modèles de raisonnement aient montré des progrès impressionnants, il existe un plafond à la quantité de calcul qui peut être appliquée à l’apprentissage par renforcement. En effet, OpenAI a récemment révélé qu’elle avait appliqué environ 10 fois plus de puissance de calcul pour entraîner l’o3 par rapport à son prédécesseur, l’o1. Mais Epoch suggère que cette approche pourrait atteindre ses limites dans les années à venir.
Josh You, analyste chez Epoch et auteur de l’analyse, souligne que les gains de performance dans la formation des modèles IA traditionnels quadruplent chaque année. En revanche, les gains dans l’apprentissage par renforcement augmentent d’un facteur 10 tous les 3 à 5 mois. Toutefois, ce rythme rapide risque de converger avec celui des autres modèles d’IA d’ici 2026, ce qui indique un ralentissement dans les progrès réalisés.
L’impact des coûts de recherche sur les modèles de raisonnement
L’un des autres défis majeurs pour l’IA de raisonnement réside dans les coûts de recherche élevés. Si des coûts de recherche persistants sont nécessaires, les modèles de raisonnement pourraient ne pas se développer aussi rapidement qu’on l’attendait. La mise à l’échelle des modèles de raisonnement pourrait donc être freinée par des coûts excessifs, ce qui obligerait l’industrie à repenser ses investissements dans cette technologie.
Malgré ces défis, l’importance de l’évolutivité de la puissance de calcul dans les progrès des modèles de raisonnement est indéniable. Si l’IA de raisonnement atteint un plafond, cela pourrait avoir de sérieuses répercussions sur l’industrie, qui a investi massivement dans ces modèles prometteurs.
