François Chollet, ancien ingénieur chez Google et chercheur influent en intelligence artificielle (IA), a annoncé la cofondation de la ARC Prize Foundation, une organisation à but non lucratif visant à développer des benchmarks pour évaluer les systèmes d’intelligence artificielle générale (AGI).
L’objectif est de créer des outils permettant de mesurer si une IA peut atteindre un niveau d’intelligence comparable à celui des humains.
Lire aussi :
- Comment Apple prévoit-elle de résoudre les erreurs de résumés générés par son intelligence artificielle ?
- Quelles fonctionnalités innovantes le Delta Concierge va-t-il offrir aux passagers pour améliorer leur expérience de voyage ?
Une initiative pour mesurer les capacités des IA
La ARC Prize Foundation s’appuie sur l’ARC-AGI, un test créé par François Chollet en 2019. Ce test, dont l’acronyme signifie Abstract and Reasoning Corpus for Artificial General Intelligence, évalue la capacité d’une IA à résoudre des problèmes inédits. Il propose des puzzles où l’IA doit générer des réponses en manipulant des grilles de carrés colorés, sans s’appuyer sur des données d’entraînement.
Jusqu’à présent, même les IA les plus avancées peinent à réussir ces défis. Par exemple, le modèle o3 d’OpenAI, malgré des ressources de calcul impressionnantes, n’a obtenu qu’un score partiel. En revanche, un humain ordinaire peut atteindre un taux de réussite supérieur à 95 % sans entraînement. Cela illustre l’écart significatif entre les capacités humaines et celles des systèmes actuels.
Vers une nouvelle génération de benchmarks
Chollet et son équipe prévoient de lancer une version de deuxième génération du test ARC-AGI dès le premier trimestre 2025, accompagnée d’une nouvelle compétition. L’objectif est de concevoir des benchmarks encore plus exigeants pour évaluer les progrès réalisés dans le domaine de l’AGI.
En parallèle, la ARC Prize Foundation souhaite collaborer avec des laboratoires de recherche et des universités pour établir un réseau académique dédié à l’évaluation des IA. Ces partenariats incluront également des entreprises comme OpenAI, qui a exprimé son intérêt pour le projet.
Malgré les critiques sur l’ARC-AGI, certains accusant Chollet de surévaluer son importance, ce dernier reste convaincu que ces benchmarks sont essentiels pour mesurer le chemin à parcourir avant d’atteindre une véritable AGI.
Un défi ambitieux pour l’intelligence artificielle
L’AGI reste un concept controversé, avec des définitions variées selon les chercheurs. Si certains, comme des membres d’OpenAI, prétendent que l’AGI a déjà été atteinte, François Chollet estime que cet objectif est encore lointain. Selon lui, la preuve ultime de l’AGI sera lorsque les tâches faciles pour les humains deviendront impossibles à rendre difficiles pour les IA.
Avec la ARC Prize Foundation, Chollet espère fournir une direction claire pour le développement de l’AGI, tout en inspirant des progrès significatifs dans le domaine. La fondation commencera sa collecte de fonds en janvier 2025 pour soutenir ses projets ambitieux et ouvrir de nouvelles perspectives dans l’évaluation de l’intelligence artificielle.