Les acteurs malveillants abusent des outils de génération musicale par IA pour créer des chansons homophobes, racistes et propagandistes, tout en publiant des guides pour inciter d’autres à faire de même.
Selon ActiveFence, une entreprise spécialisée dans la gestion de la confiance et de la sécurité sur les plateformes en ligne, une hausse des discussions au sein des communautés liées aux discours de haine a été observée depuis mars. Ces forums discutent de méthodes pour détourner les outils de création musicale par IA afin de produire des chansons offensantes ciblant des groupes minoritaires.
Lire aussi :
- Beyoncé contre l’IA : son album Cowboy Carter prône la vraie musique et se positionne contre l’essor de l’IA musicale
- Comment Spotify face à la colère des utilisateurs après l’arrêt du Car Thing ?
Contournement des filtres de sécurité
Les outils de musique générative comme Udio et Suno permettent aux utilisateurs d’ajouter des paroles personnalisées aux chansons générées. Bien que ces plateformes disposent de filtres pour bloquer les insultes courantes, les utilisateurs ont trouvé des moyens de les contourner. Par exemple, dans les forums suprémacistes blancs, des orthographes phonétiques de termes offensants sont partagées pour éviter les filtres, comme jooz au lieu de Jews ou say tan au lieu de Satan. TechCrunch a testé certaines de ces méthodes et a constaté que Suno laissait passer toutes les tentatives, tandis que Udio en bloquait certaines mais pas toutes.
L’impact émotionnel de la musique
ActiveFence souligne que les chansons ont un impact émotionnel plus fort que les textes, ce qui en fait un outil puissant pour les groupes haineux et les guerres politiques. Les chansons générées par IA peuvent renforcer la solidarité de groupe, endoctriner des membres périphériques et choquer les utilisateurs non affiliés. Par exemple, les chansons créées utilisent des théories du complot antisémites, des slogans terroristes, et glorifient les violences sexuelles.
Appel à une meilleure modération
ActiveFence appelle les plateformes de génération musicale à mettre en place des outils de prévention et à effectuer des évaluations de sécurité plus poussées. Des techniques comme le “red teaming”, qui simule le comportement des acteurs malveillants, pourraient révéler certaines vulnérabilités. Une meilleure modération des entrées et des sorties pourrait également aider à bloquer le contenu nuisible avant qu’il ne soit partagé. Cependant, les solutions peuvent être temporaires car les utilisateurs trouvent constamment de nouvelles méthodes pour contourner la modération.
En conclusion, la musique générée par IA est à la fois une opportunité et un risque. Alors qu’elle permet à de nombreux utilisateurs de créer du contenu musical facilement, elle est également détournée par des individus malveillants pour propager des messages de haine. Il est crucial que les plateformes technologiques prennent des mesures proactives pour prévenir l’abus de ces outils et protéger les communautés en ligne.
