Quels sont les risques liés à l’évaluation d’une IA par des contractuels sans expertise spécifique ?

L’intelligence artificielle générative, comme celle développée par Google, repose sur un vaste travail en coulisses effectué par des équipes de contractuels et d’analystes.

Ces derniers, souvent appelés ingénieurs de prompt, évaluent la précision des réponses générées par l’IA pour en améliorer les performances. Cependant, une récente directive interne concernant Gemini, le dernier modèle d’IA de Google, soulève des inquiétudes sur la fiabilité des réponses dans des domaines sensibles.

Lire aussi :

1. Quelles sont les nouvelles fonctionnalités de l’outil de recherche AI qui bénéficient aux utilisateurs de ChatGPT ?
2. Comment utiliser la nouvelle fonctionnalité d’Instagram pour programmer vos messages privés ?

Des évaluations sans expertise : un risque pour la précision

Pour améliorer Gemini, Google collabore avec GlobalLogic, une entreprise d’externalisation appartenant à Hitachi. Les contractuels évaluent les réponses générées par l’IA en fonction de critères comme la “véracité”. Jusqu’à récemment, ils avaient la possibilité de passer certains prompts hors de leur domaine d’expertise, comme des questions techniques complexes ou des sujets médicaux spécifiques.

Cependant, une nouvelle directive empêche désormais ces évaluateurs de “sauter” des prompts qu’ils ne maîtrisent pas. Les contractuels doivent maintenant analyser les parties qu’ils comprennent et signaler leur manque de connaissances, même lorsqu’il s’agit de sujets sensibles comme les maladies rares ou des concepts scientifiques pointus.

Gemini Live parviendra-t-il à combler ses lacunes pour devenir le nouvel assistant vocal de référence ?

Une décision qui inquiète les contractuels

Selon des correspondances internes obtenues par TechCrunch, cette nouvelle règle a suscité des préoccupations. Certains contractuels craignent que cette approche réduise la précision de Gemini en exposant les utilisateurs à des réponses potentiellement incorrectes sur des sujets critiques, comme la santé.

Un contractuel s’est interrogé : « N’était-ce pas le but de permettre de passer un prompt, afin d’augmenter la précision en le confiant à une personne mieux qualifiée ? »

Désormais, les prompts ne peuvent être passés que dans deux cas : lorsqu’ils sont incomplets ou lorsqu’ils contiennent des contenus préjudiciables nécessitant des consentements spécifiques pour être évalués.

Google défend sa méthodologie

Interrogé par TechCrunch, Google a répondu que l’entreprise s’efforçait constamment d’améliorer la précision factuelle de Gemini. Selon Shira McNamara, porte-parole de Google, les évaluateurs ne se limitent pas à vérifier le contenu des réponses, mais fournissent aussi des retours sur le style et la mise en forme.

Google précise également que les notes des contractuels ne modifient pas directement les algorithmes, mais servent de points de données utiles pour évaluer l’efficacité globale du système.

Quelles sont les principales différences entre les modèles Gemini et les autres outils d’IA générative tels que ChatGPT et Copilot ?

Des choix controversés pour l’avenir de l’IA

La décision de Google de limiter les possibilités de passer certains prompts met en lumière les défis liés à l’entraînement des modèles d’IA sur des sujets complexes. Si cette approche permet de collecter davantage de données pour améliorer Gemini, elle risque aussi de compromettre la fiabilité des réponses, notamment dans des domaines où des erreurs pourraient avoir des conséquences graves. Reste à voir comment Google ajustera ses directives pour trouver un équilibre entre la collecte de données et la précision des informations.