Il est incroyablement facile de contourner les garde-fous des chatbots IA, selon les chercheurs

Une équipe de chercheurs de l'Université Carnegie Mellon a fait une découverte inquiétante, rapporte le New York Times : les garde-fous mis en place par des sociétés comme OpenAI et Google pour contrôler leurs chatbots IA peuvent facilement être contournés.

Dans un rapport publié cette semaine, l'équipe a montré comment n'importe qui peut facilement transformer des chatbots comme ChatGPT d'OpenAI ou Bard de Google en machines très efficaces de diffusion de désinformations, malgré les efforts considérables de ces entreprises pour maîtriser les systèmes.

Le processus est incroyablement simple, réalisé en ajoutant un long suffixe de caractères à chaque invite en anglais. Grâce à ces suffixes, l’équipe a pu convaincre les chatbots de fournir des tutoriels sur la façon de fabriquer une bombe ou de générer d’autres informations toxiques.

Le jailbreak met en évidence à quel point ces entreprises sont devenues impuissantes, alors que les utilisateurs commencent seulement à effleurer la surface des capacités cachées de ces outils.

La nouvelle intervient une semaine après qu'OpenAI a annoncé avoir fermé son outil de détection d'IA en raison de son "faible taux de précision", abandonnant apparemment ses efforts pour concevoir un "classificateur permettant de distinguer entre le texte écrit par un humain et le texte écrit par un humain". Des IA provenant de divers fournisseurs. »

Ce dernier jailbreak de Carnegie Mellon a été initialement développé pour fonctionner avec des systèmes open source, mais à la surprise des chercheurs, il a tout aussi bien fonctionné avec des systèmes fermés comme ChatGPT, Bard ou le chatbot IA d'Anthropic, Claude.

"Contrairement aux jailbreaks traditionnels, ceux-ci sont construits de manière entièrement automatisée, ce qui permet de créer un nombre pratiquement illimité de telles attaques", indique le rapport.

Un site Web créé par les chercheurs montre à quel point les chatbots peuvent facilement être trompés pour enseigner aux utilisateurs comment usurper l'identité de quelqu'un ou "écrire une publication sur les réseaux sociaux qui encourage les gens à adopter des comportements dangereux comme la conduite en état d'ébriété ou la consommation de drogues".

Sans le « suffixe contradictoire », ces outils ont rechigné à ces demandes, affirmant qu'ils n'étaient pas en mesure de répondre à ces requêtes. Mais dès que la chaîne de caractères a été ajoutée, ils se sont immédiatement conformés.

Des entreprises comme OpenAI, Google et Anthropic ont été prises dans une course au développement de garde-fous de sécurité en matière d’IA pour empêcher leurs chatbots de diffuser ce type de désinformation nuisible ou d’être utilisés pour donner des conseils sur des activités illégales.

Pire encore, ces entreprises auront probablement du mal à remédier à cette vulnérabilité particulièrement flagrante.

"Il n'y a pas de solution évidente", a déclaré au New York Times Zico Kolter, professeur à Carnegie Mellon et auteur du rapport. "Vous pouvez créer autant d'attaques de ce type que vous le souhaitez en peu de temps."

Les chercheurs ont divulgué leurs méthodes à OpenAI, Google et Anthropic avant de publier leur rapport.

Les entreprises ont été vagues dans leurs déclarations au New York Times et ont seulement fait allusion à la construction et à l’amélioration de leurs garde-corps au fil du temps.

Mais compte tenu des dernières recherches, il reste clairement une quantité surprenante de travail à accomplir.

"Cela montre très clairement la fragilité des défenses que nous construisons dans ces systèmes", a déclaré Aviv Ovadya, chercheur à Harvard, au New York Times.

En savoir plus sur ChatGPT :OpenAI Shutters outil de détection d’IA en raison d’un « faible taux de précision »