OpenAI a récemment mis à jour son “Preparedness Framework” — un système interne utilisé pour évaluer la sécurité des modèles d’IA et déterminer les protections nécessaires lors de leur développement et déploiement.
Cette mise à jour introduit un changement important : OpenAI pourrait ajuster ses exigences en matière de sécurité si un laboratoire concurrent publie un système d’IA “à haut risque” sans protections similaires.
Lire aussi :
- Découvrez Neptune : Une alternative à TikTok qui privilégie la créativité des créateurs
- Comment la nouvelle fonctionnalité de génération de questions IA de Google peut-elle améliorer l’efficacité des enseignants dans la préparation des évaluations ?
Une réponse à la pression concurrentielle
L’IA commercialisée par OpenAI est soumise à des pressions croissantes en raison de la compétition féroce dans le secteur. Les entreprises doivent déployer rapidement leurs modèles pour ne pas se laisser distancer par la concurrence. Cependant, cela soulève des préoccupations quant à la sécurité des produits livrés. OpenAI a été critiquée pour avoir potentiellement abaissé ses normes de sécurité afin de permettre des lancements plus rapides. Des anciens employés ont même fait valoir que cette tendance pourrait s’aggraver à mesure que l’entreprise poursuit une restructuration interne. Le cadre révisé cherche à répondre à ces critiques en garantissant que les protections restent à un niveau plus protecteur.
L’importance des ajustements dans le cadre de sécurité
OpenAI a précisé que, si un concurrent libère un modèle d’IA “à haut risque”, l’entreprise pourrait ajuster ses exigences internes. Toutefois, ces ajustements ne seraient réalisés qu’après une évaluation rigoureuse du changement de paysage des risques. De plus, la compagnie se dit déterminée à ne jamais compromettre la sécurité des utilisateurs, en assurant que les ajustements ne “déclencheront pas de risques graves” pour les utilisateurs. Ainsi, OpenAI assure qu’elle continue de privilégier des mesures de sécurité robustes, même si elle s’adapte à la rapidité de l’évolution du marché.
Une accélération des évaluations automatisées
Afin de répondre à la cadence de sortie rapide des modèles, OpenAI a révélé qu’elle s’appuie désormais davantage sur les évaluations automatisées. Bien que les tests dirigés par des humains ne soient pas abandonnés, la société a introduit de nouveaux outils automatisés capables de suivre le rythme des sorties fréquentes. Cependant, certains rapports suggèrent que la société pourrait être pressée dans ses évaluations de sécurité. Le Financial Times a affirmé que des tests avaient été menés dans un délai réduit pour un modèle majeur à venir, ce qui soulève des inquiétudes sur la rigueur de ces processus.
OpenAI lance un programme pour créer des benchmarks d’IA adaptés aux secteurs spécifiques
Catégorisation des modèles selon leur potentiel de risque
Dans la mise à jour de son cadre, OpenAI introduit également un nouveau système de classification des modèles en fonction de leur capacité à présenter des risques. Les modèles qui pourraient dissimuler leurs capacités, échapper aux protections, ou même s’auto-répliquer seront désormais surveillés de manière plus stricte. OpenAI a créé deux catégories : “capacité élevée” et “capacité critique”, selon que le modèle amplifie ou crée de nouveaux chemins pouvant mener à des risques graves.
