Epoch AI, une organisation à but non lucratif spécialisée dans le développement de benchmarks pour l’intelligence artificielle, est au cœur d’une controverse.
Le 20 décembre 2024, elle a révélé avoir reçu un financement d’OpenAI pour développer FrontierMath, un test avancé destiné à mesurer les compétences mathématiques des intelligences artificielles. Cette annonce tardive a suscité des critiques de la part de la communauté IA, notamment en raison du manque de transparence autour de cette collaboration.
Des contributeurs à FrontierMath ont exprimé leur mécontentement sur les réseaux sociaux et des forums spécialisés, affirmant ne pas avoir été informés de l’implication d’OpenAI avant cette révélation. Certains, comme la doctorante en mathématiques Carina Hong, ont même affirmé que plusieurs mathématiciens impliqués dans le projet n’auraient peut-être pas participé s’ils avaient été au courant.
Lire aussi :
- Comment Nvidia compte-t-il encourager l’adoption des agents IA par les entreprises grâce à ses nouveaux microservices ?
- Meta peut-elle justifier l’utilisation de contenus protégés pour entraîner ses IA en invoquant le fair use et l’exemple de YouTube ?
Les inquiétudes sur l’intégrité des benchmarks
La principale critique porte sur la possible perte d’objectivité de FrontierMath. Étant donné qu’OpenAI a eu accès à des problèmes et solutions inclus dans le benchmark, certains craignent que cela puisse avantager l’entreprise et nuire à la crédibilité de l’outil. Bien qu’Epoch AI affirme qu’OpenAI n’utilisera pas ces données pour entraîner ses intelligences artificielles, la possibilité d’un conflit d’intérêts continue de préoccuper la communauté.
Epoch AI a également précisé qu’un ensemble de données séparé, invisible pour OpenAI, a été créé pour vérifier indépendamment les résultats des benchmarks. Cependant, jusqu’à présent, ces résultats n’ont pas été confirmés de manière indépendante.
Les promesses d’Epoch AI face aux critiques
Face à la polémique, Tamay Besiroglu, cofondateur d’Epoch AI, a reconnu les erreurs de communication de l’organisation. Il a expliqué que des contraintes contractuelles avec OpenAI avaient empêché une divulgation anticipée, mais il a admis que davantage aurait dû être fait pour protéger la transparence envers les contributeurs.
Epoch AI a désormais pour objectif d’améliorer ses pratiques de collaboration à l’avenir. Besiroglu a promis de rendre la transparence non négociable dans les futurs partenariats. Malgré les assurances fournies, cette affaire met en lumière les défis liés au financement et au développement des benchmarks pour l’intelligence artificielle, tout en soulignant l’importance d’éviter les conflits d’intérêts dans ce domaine en pleine expansion.
Un précédent pour les projets IA
Cette affaire démontre combien il est difficile de concilier financement, collaboration et indépendance dans le secteur de l’intelligence artificielle. Alors que les benchmarks comme FrontierMath jouent un rôle clé pour évaluer les avancées technologiques, garantir leur impartialité est essentiel pour maintenir la confiance de la communauté et du public. Epoch AI devra redoubler d’efforts pour répondre aux attentes et éviter que de telles controverses ne se reproduisent.
