Jan Leike, un chercheur en intelligence artificielle de premier plan, a récemment démissionné d’OpenAI en critiquant publiquement l’approche de l’entreprise en matière de sécurité de l’IA.
Il a rejoint Anthropic, un concurrent d’OpenAI, pour diriger une nouvelle équipe dédiée au superalignement.
Lire aussi :
- Comment l’expansion d’Anthropic en Europe et ses récentes levées de fonds vont-elles influencer sa position sur le marché de l’intelligence artificielle générative ?
- Quelles sont les conséquences éthiques et légales pour OpenAI après le retrait de la voix controversée ressemblant à celle de Scarlett Johansson dans leur modèle GPT-4o ?
Une nouvelle équipe dédiée à la sécurité de l’IA
Leike, dans un post sur X, a indiqué que son équipe chez Anthropic se concentrera sur divers aspects de la sécurité et de la sûreté de l’IA, en particulier la surveillance évolutive, la généralisation de faible à forte et la recherche sur l’alignement automatisé. Une source proche du dossier a confié à TechCrunch que Leike rapportera directement à Jared Kaplan, directeur scientifique d’Anthropic. Les chercheurs d’Anthropic travaillant actuellement sur la surveillance évolutive — des techniques pour contrôler le comportement de l’IA à grande échelle de manière prévisible et souhaitable — passeront sous la responsabilité de Leike au fur et à mesure de la montée en puissance de son équipe.
Une mission similaire à celle d’OpenAI
L’équipe de Leike semble avoir une mission similaire à celle de l’équipe de Superalignement récemment dissoute d’OpenAI. Cette équipe, que Leike co-dirigeait, avait pour objectif ambitieux de résoudre les principaux défis techniques liés au contrôle de l’IA superintelligente dans les quatre prochaines années. Cependant, elle s’est souvent retrouvée paralysée par la direction d’OpenAI. Le transfert de Leike à Anthropic marque un tournant significatif et montre l’engagement d’Anthropic à se concentrer davantage sur la sécurité de l’IA par rapport à OpenAI.
Une vision centrée sur la sécurité
Anthropic, sous la direction de son PDG Dario Amodei, a souvent tenté de se positionner comme étant plus axé sur la sécurité que son concurrent OpenAI. Amodei, ancien vice-président de la recherche chez OpenAI, aurait quitté l’entreprise suite à un désaccord sur la direction prise par celle-ci, notamment son orientation commerciale croissante. En fondant Anthropic, Amodei a amené avec lui plusieurs anciens employés d’OpenAI, y compris l’ancien responsable des politiques d’OpenAI, Jack Clark.
La nouvelle équipe de Jan Leike chez Anthropic représente une opportunité de redéfinir les normes de sécurité et de sûreté dans le domaine de l’IA. En se concentrant sur la surveillance évolutive, la généralisation de faible à forte et l’alignement automatisé, cette équipe pourrait bien apporter des solutions innovantes aux défis posés par les systèmes d’IA de plus en plus sophistiqués.
