Un rรฉcent article de recherche publiรฉ par des scientifiques d’Apple met en lumiรจre un problรจme rรฉcurrent dans le domaine de l’intelligence artificielle : les modรจles de langage actuels, bien qu’impressionnants dans certaines tรขches, sont souvent incapables de raisonner vรฉritablement.
Le document, intitulรฉ ยซ Comprendre les limites du raisonnement mathรฉmatique dans les grands modรจles de langage ยป, explore pourquoi ces modรจles รฉchouent parfois de maniรจre inattendue face ร des problรจmes mathรฉmatiques lรฉgรจrement modifiรฉs.
Lire aussi :
- Comment lโintรฉgration de lโintelligence artificielle pourrait-elle transformer lโexpรฉrience dโapprentissage des langues chez Babbel ?
- Comment la technologie VAPR dโAmazon pourrait-elle transformer lโefficacitรฉ des livraisons et rรฉduire les dรฉlais ร chaque arrรชt ?
Les erreurs causรฉes par des dรฉtails mineurs
L’une des dรฉcouvertes clรฉs des chercheurs est la maniรจre dont les modรจles IA, comme GPT-o1-mini, รฉchouent face ร des problรจmes simples modifiรฉs par l’ajout de dรฉtails mineurs. Par exemple, dans un problรจme de calcul simple oรน un personnage cueille des kiwis, l’ajout de la mention de kiwis plus petits que la moyenne a suffi ร dรฉstabiliser le modรจle, qui a alors produit une rรฉponse incorrecte. Pourtant, mรชme un enfant de primaire comprendrait que la taille des kiwis n’affecte pas leur nombre total.
Ces รฉchecs suggรจrent que, bien que ces modรจles puissent rรฉsoudre des problรจmes basiques, ils ne parviennent pas ร faire preuve de vรฉritable raisonnement logique. Ils se contentent plutรดt de reproduire des schรฉmas observรฉs dans leurs donnรฉes d’entraรฎnement, et sont facilement dรฉstabilisรฉs par des variations inattendues.
Un raisonnement limitรฉ aux schรฉmas appris
Selon les chercheurs, ces dรฉfaillances rรฉcurrentes prouvent que les modรจles actuels ne comprennent pas vraiment les problรจmes quโils rรฉsolvent. Lorsqu’ils sont confrontรฉs ร des questions comportant plusieurs clauses ou dรฉtails supplรฉmentaires, leurs performances se dรฉtรฉriorent rapidement. Cette limitation serait due au fait que ces modรจles ne disposent pas encore dโune vรฉritable capacitรฉ de raisonnement logique, mais tentent simplement de reproduire des รฉtapes de raisonnement qu’ils ont vues dans leurs donnรฉes dโentraรฎnement.
Cette conclusion rejoint les critiques frรฉquentes des modรจles dโIA actuels : bien quโils puissent suivre des chaรฎnes de raisonnement complexes observรฉes dans leur apprentissage, la moindre modification de ces chaรฎnes peut entraรฎner des erreurs. Cela suggรจre que leur capacitรฉ de raisonnement est plus proche dโune imitation que d’une rรฉflexion authentique.
Les implications pour l’avenir de l’IA
Bien que ces dรฉcouvertes soulรจvent des questions sur les capacitรฉs rรฉelles des modรจles IA, elles nโimpliquent pas nรฉcessairement que ces modรจles ne puissent jamais raisonner. Il est possible que leur raisonnement soit simplement diffรฉrent de celui des humains, ou qu’ils nรฉcessitent encore des ajustements significatifs pour parvenir ร une vรฉritable comprรฉhension. Toutefois, cette fragilitรฉ dans la gestion de problรจmes simples et de dรฉtails mineurs devrait inciter ร la prudence dans la maniรจre dont l’IA est commercialisรฉe aujourdโhui.
En conclusion, ces rรฉsultats montrent que, bien que les modรจles d’IA aient un potentiel รฉnorme, ils ont encore un long chemin ร parcourir pour atteindre une comprรฉhension et un raisonnement semblables ร ceux des humains.