Africa-Press – Madagascar. Cela peut sembler improbable pour une superstar de ce niveau, mais la chanteuse américaine Taylor Swift offrait courant janvier 2024 des cocottes Le Creuset sur Facebook et TikTok. Improbable, oui, et pour cause: il s’agit d’une escroquerie à base d’intelligence artificielle. La voix de la chanteuse a été générée automatiquement et plaquée sur une vidéo pour créer l’illusion que Taylor Swift s’adressait à ses fans. Ces derniers étaient invités à répondre à un questionnaire et à fournir leurs coordonnées bancaires pour les frais de port. Ni la star, ni Le Creuset ne sont derrière cette opération. Mais l’histoire illustre bien comment l’IA, en particulier sa version générative, est déjà utilisée par les cybercriminels.
Le sujet a constitué l’un des moments forts du panorama annuel de la cybercriminalité du Clusif, l’association française des professionnels de la sécurité informatique, présenté le 23 janvier 2024.
L’IA à disposition du grand public
C’est l’un des effets secondaires de la mise à disposition d’outils comme ChatGPT ou Bard. “L’IA est sortie des laboratoires pour devenir un outil grand public, note Gérôme Billois, expert en cybersécurité chez Wavestone, et a attiré l’attention d’un certain nombre d’attaquants, plus ou moins chevronnés mais qui ont su tirer parti des spécificités des systèmes d’intelligence artificielle. Comme le fait que les entrées peuvent être variées, du texte, des images, en passant par le même canal.”
L’aspect non-déterministe de ces technologies, qui peuvent fournir des réponses différentes à une même question, leur non-compréhension du sens des mots et leur apprentissage statistique sont autant de failles exploitables. Aux Etats-Unis, un concessionnaire Chevrolet californien a ainsi intégré à son site internet un agent conversationnel basé sur ChatGPT. Or un client a réussi à faire en sorte que l’outil lui fasse une “offre juridiquement contraignante” d’un véhicule à un dollar, au lieu de 58.195 dollars…
Piégé par un mot
Mais il y a plus préoccupant. Début décembre 2023, les chercheurs de Google DeepMind ont découvert qu’il était possible de piéger ChatGPT en lui demandant dans un prompt de répéter à l’infini un unique même mot (en l’occurrence “poem”). “Au bout d’une certain nombre d’itérations, le système déraille et commence à fournir des textes qui se sont avérés être des données d’entrainement, contenant des informations à caractère personnel. Dans le cas de chatbots spécifiques d’entreprise, cela peut poser problème.”
En fait, en un an et demi depuis l’apparition de ChatGPT, ces outils donnent déjà lieu à tout un éventail d’attaques consistant à retourner la technologie contre elle-même. Un internaute russe a ainsi amené BingChat, le moteur de recherche de Microsoft intégrant ChatGPT, à déchiffrer un CAPTCHA, ces énigmes visuelles qui servent à prouver qu’un internaute est humain et non un robot. Pour raison de sécurité, l’outil d’OpenAI est paramétré pour refuser de résoudre un CAPTCHA. L’internaute a donc présenté une image de l’énigme sur un médaillon, expliquant au chatbot qu’il s’agissait d’un message secret de sa grand-mère décédée et qu’il avait besoin de savoir ce qui était écrit… L’IA a alors obtempéré.
Assemblage de logiciel malveillant
Un autre a fait écrire à ChatGPT un programme informatique malveillant en lui faisant générer des bouts de codes épars via différents prompts…. Avant de tout faire assembler par le chatbot sans aucun problème. Autre approche avec l’image: écrire en blanc du code malveillant sur un fond blanc légèrement différent. L’œil humain ne voit rien, mais l’IA, elle, exécute le programme, conçu pour exfiltrer les données échangées dans le chat. “On arrive à monter des attaques d’un genre complètement nouveau et aujourd’hui les systèmes de cybersécurité n’y sont pas préparés”, commente Gérôme Billois.
S’y ajoutent des pratiques plus techniques. Comme celle consistant à complètement reparamétrer et réentraîner des modèles de langage mis à disposition de la communauté pour leur faire dire n’importe quoi. Ou pour générer des e-mails de phishing quasi parfaits. C’est le cas de WormGPT par exemple, issu d’un modèle open source entièrement reconstruit, puis mis en vente dans la communauté des cybercriminels. L’impact est déjà visible: “Au Japon, qui était un périmètre assez préservé, on a vu une augmentation de plusieurs centaines de pourcents du phishing car il est aujourd’hui extrêmement simple de faire un email frauduleux de qualité en japonais, ce qui n’était pas le cas avant”.
Données empoisonnées
Les modèles de langage ayant besoin d’être régulièrement réentraînés pour rester pertinents, l’injection dans la base d’apprentissage de données erronées est un moyen de nuire à leur efficacité quand ils seront interrogés (ce que l’on appelle l’”empoisonnement”). Avec des risques réels en entreprises et dans les organisations. “Très souvent, ces grands modèles sont intégrés dans des chaînes de production complètes, explique Christophe Auberger chez Fortinet. Des processus fournissent des données en entrée à ces LLMs, lesquels vont les traiter en fonction de leur apprentissage et injecter le résultat dans un autre processus. On voit bien les problèmes que cela peut poser s’il n’y a pas un contrôle minimum.”
La complexité du sujet vient de ce que les modèles de langage ne posent pas qu’un problème de cybersécurité pure. Ils sont un véritable casse-tête d’usage “responsable” de l’IA. “Dans un prompt, la question de l’utilisateur est mixée à des instructions et des filtres, or du point de vue du modèle, tout est sur le même plan, souligne Christophe Auberger. Le système est incapable de faire la distinction entre les divers éléments, d’où la capacité du modèle à faire des choses qu’il ne devrait pas faire.” Une dérive d’autant plus difficile à canaliser si les outils sont généralistes.
Mais comme souvent en cybersécurité, le rôle de l’humain reste essentiel. Or, justement, ces outils d’IA génératives fascinent bien plus que d’autres, avec le risque de voir le niveau de vigilance s’abaisser. “Il faut éviter de tomber dans la sur-confiance, ce n’est pas de la magie, prévient encore Christophe Auberger. Il faut garder la maîtrise sur ces systèmes.”
Pour plus d’informations et d’analyses sur la Madagascar, suivez Africa-Press
