Un récent article de recherche publié par des scientifiques d’Apple met en lumière un problème récurrent dans le domaine de l’intelligence artificielle : les modèles de langage actuels, bien qu’impressionnants dans certaines tâches, sont souvent incapables de raisonner véritablement.
Le document, intitulé « Comprendre les limites du raisonnement mathématique dans les grands modèles de langage », explore pourquoi ces modèles échouent parfois de manière inattendue face à des problèmes mathématiques légèrement modifiés.
Lire aussi :
- Comment l’intégration de l’intelligence artificielle pourrait-elle transformer l’expérience d’apprentissage des langues chez Babbel ?
- Comment la technologie VAPR d’Amazon pourrait-elle transformer l’efficacité des livraisons et réduire les délais à chaque arrêt ?
Les erreurs causées par des détails mineurs
L’une des découvertes clés des chercheurs est la manière dont les modèles IA, comme GPT-o1-mini, échouent face à des problèmes simples modifiés par l’ajout de détails mineurs. Par exemple, dans un problème de calcul simple où un personnage cueille des kiwis, l’ajout de la mention de kiwis plus petits que la moyenne a suffi à déstabiliser le modèle, qui a alors produit une réponse incorrecte. Pourtant, même un enfant de primaire comprendrait que la taille des kiwis n’affecte pas leur nombre total.
Ces échecs suggèrent que, bien que ces modèles puissent résoudre des problèmes basiques, ils ne parviennent pas à faire preuve de véritable raisonnement logique. Ils se contentent plutôt de reproduire des schémas observés dans leurs données d’entraînement, et sont facilement déstabilisés par des variations inattendues.
Un raisonnement limité aux schémas appris
Selon les chercheurs, ces défaillances récurrentes prouvent que les modèles actuels ne comprennent pas vraiment les problèmes qu’ils résolvent. Lorsqu’ils sont confrontés à des questions comportant plusieurs clauses ou détails supplémentaires, leurs performances se détériorent rapidement. Cette limitation serait due au fait que ces modèles ne disposent pas encore d’une véritable capacité de raisonnement logique, mais tentent simplement de reproduire des étapes de raisonnement qu’ils ont vues dans leurs données d’entraînement.
Cette conclusion rejoint les critiques fréquentes des modèles d’IA actuels : bien qu’ils puissent suivre des chaînes de raisonnement complexes observées dans leur apprentissage, la moindre modification de ces chaînes peut entraîner des erreurs. Cela suggère que leur capacité de raisonnement est plus proche d’une imitation que d’une réflexion authentique.
Les implications pour l’avenir de l’IA
Bien que ces découvertes soulèvent des questions sur les capacités réelles des modèles IA, elles n’impliquent pas nécessairement que ces modèles ne puissent jamais raisonner. Il est possible que leur raisonnement soit simplement différent de celui des humains, ou qu’ils nécessitent encore des ajustements significatifs pour parvenir à une véritable compréhension. Toutefois, cette fragilité dans la gestion de problèmes simples et de détails mineurs devrait inciter à la prudence dans la manière dont l’IA est commercialisée aujourd’hui.
En conclusion, ces résultats montrent que, bien que les modèles d’IA aient un potentiel énorme, ils ont encore un long chemin à parcourir pour atteindre une compréhension et un raisonnement semblables à ceux des humains.
