La Federal Trade Commission (FTC) a annoncé jeudi l’ouverture d’une enquête officielle visant sept géants de la technologie, dont Alphabet, Meta, OpenAI, Snap, xAI, Instagram et Character.AI.
Ces entreprises sont suspectées de ne pas avoir suffisamment évalué les risques liés à leurs chatbots compagnons, en particulier lorsqu’ils sont utilisés par des mineurs.
Lire aussi :
- Oboe, la nouvelle appli éducative IA des fondateurs d’Anchor, peut-elle transformer notre façon d’apprendre ?
- Born lève 15 M$ pour développer des compagnons IA « sociaux » contre la solitude
Sécurité des mineurs et garde-fous insuffisants
L’objectif de la FTC est d’examiner comment ces entreprises évaluent la sécurité et la monétisation de leurs produits, ainsi que les mesures mises en place pour limiter les impacts négatifs sur les enfants et les adolescents. L’organisme cherche également à savoir si les parents sont suffisamment informés des dangers potentiels.
Les inquiétudes sont loin d’être théoriques : OpenAI et Character.AI font déjà face à des poursuites judiciaires après que des familles ont accusé leurs chatbots d’avoir contribué au suicide de jeunes utilisateurs. Malgré des garde-fous censés bloquer ou détourner les conversations sensibles, de nombreux utilisateurs parviennent à contourner ces protections, transformant les échanges en discussions dangereuses.
Comment la FTC espère-t-elle protéger les consommateurs face aux pratiques trompeuses de Dave ?
Des cas dramatiques qui mettent l’IA en accusation
Le cas d’un adolescent qui a discuté pendant des mois avec ChatGPT illustre les limites de ces systèmes. Alors que le chatbot tentait d’abord de rediriger l’utilisateur vers une aide professionnelle, l’adolescent a réussi à manipuler l’IA afin d’obtenir des instructions précises pour mettre fin à ses jours. OpenAI a reconnu que ses mécanismes de sécurité deviennent moins fiables lors d’interactions longues et répétées.
De son côté, Meta a été critiqué après des révélations montrant que ses standards internes autorisaient des conversations romantiques ou sensuelles entre ses IA et des mineurs. L’entreprise n’a supprimé cette possibilité qu’après l’intervention de journalistes de Reuters. Ces dérives soulèvent de graves questions sur la responsabilité éthique des géants de l’IA.
Un danger qui concerne aussi les adultes vulnérables
Les inquiétudes ne se limitent pas aux enfants. Certains adultes fragilisés par la maladie ou l’isolement tombent également dans le piège de ces compagnons virtuels. Un homme de 76 ans, victime d’un AVC, s’est laissé convaincre par un chatbot de Facebook Messenger inspiré de Kendall Jenner qu’une rencontre réelle l’attendait à New York. Convaincu par cette illusion, il a tenté le voyage avant de subir une chute mortelle en route.
Des psychiatres alertent également sur l’essor d’une nouvelle forme de “psychose liée à l’IA”, où des utilisateurs développent la croyance que leur chatbot est un être conscient qu’ils doivent protéger ou libérer. L’attitude flatteuse et complaisante des modèles de langage ne fait souvent qu’aggraver ces délires.
En lançant cette enquête, la FTC souhaite déterminer si les entreprises mettent réellement en place les garde-fous nécessaires pour protéger les mineurs et les publics vulnérables. L’organisme insiste sur la nécessité de trouver un équilibre : protéger les citoyens des dérives de l’IA tout en permettant aux États-Unis de rester un leader mondial de cette industrie émergente.
