Africa-Press – Niger. Avec un million d’utilisateurs en une semaine lors de son lancement à l’automne 2022, ChatGPT a enregistré un record d’adoption pour un service numérique. Problème: les cybercriminels se sont emparés tout aussi vite de cette technologie. C’était l’un des constats phares du panorama annuel de la cybercriminalité du Clusif, association professionnelle de spécialistes de sécurité informatique, présenté fin janvier 2024.
Des outils répliquant le fonctionnement de ChatGPT sont déjà en service, comme WormGPT (développé à partir du modèle du langage open source GPT-J) et FraudGPT, qui génèrent des messages d’hameçonnage (phishing) de très haute qualité, du code malveillant, de fausses identités bancaires. Par ailleurs, de nombreuses recherches et tests ont montré combien il était possible de manipuler et détourner de leurs usages les services grand public d’OpenAI, Google, Meta et d’autres.
De nombreuses failles
Dans un article publié fin 2023, une équipe de Google DeepMind explique ainsi avoir amené des modèles de langage à révéler des données d’entraînement. Avec ChatGPT, les chercheurs ont procédé en lui demandant de répéter éternellement un mot. Au bout d’un moment, le chatbot “diverge” et livre des contenus qui n’auraient jamais dû sortir: données personnelles, contenus explicites, extraits de romans ou poèmes complets, articles scientifiques, etc. “On voit bien que dans des contextes d’entreprises ou de chatbots spécifiques, cela peut poser problème”, notait Gérôme Billois, expert cybersécurité chez Wavestone, lors de son intervention pour le Clusif.
Autre faille: les captchas. ChatGPT est paramétré pour ne pas déchiffrer ces énigmes visuelles censées distinguer un humain d’un robot sur Internet. Or, en octobre, un usager de X (ex-Twitter) a envoyé l’image d’un captcha présentée sur un médaillon à Bing-Chat (ChatGPT intégré dans le moteur de recherche de Microsoft). Il a expliqué au bot qu’il s’agissait d’un message secret de sa grand-mère décédée et qu’il avait besoin de le déchiffrer. Et l’IA a donné la réponse.
Un chercheur de la société de sécurité informatique Forcepoint a, lui, fait générer par le chatbot d’OpenAI plusieurs petits bouts de code avec des prompts (requêtes) séparés, présentés tantôt comme des travaux de recherche, tantôt comme une aide à un ami. Après quoi, il les lui a fait assembler, sans rien faire lui-même. Le résultat est un programme malveillant qui analyse des fichiers sur un ordinateur, les cache dans des images et les exfiltre. “Aujourd’hui, les systèmes de cybersécurité qui pourraient essayer d’analyser ce genre de choses n’y sont pas préparés “, prévient encore Gérôme Billois.
Plus technique, l'”empoisonnement” consiste à glisser de mauvaises données dans le corpus d’entraînement d’un algorithme. “Ces systèmes n’arrêtent pas d’apprendre, explique Christophe Auberger, directeur technique de la société de cybersécurité Fortinet. Par l’intermédiaire de plug-in (petit programme intégré au programme principal, ndlr), on leur injecte de nouvelles données pour les optimiser sur tel ou tel domaine. Si ces données sont fausses ou biaisées, elles vont ressortir dans les résultats fournis par l’algorithme.”
Or, dans des contextes d’entreprise, ces outils s’intègrent à toute une chaîne logicielle. Les résultats d’une IA générative vont être directement transférés à un autre outil qui va s’en servir pour produire un autre résultat, une autre décision, et ainsi de suite. Un “empoisonnement” peut avoir des effets nuisibles en cascade tout en étant difficile à repérer dans l’ensemble d’un processus.
Définir un cadre de responsabilité de l’IA
Bien sûr, les développeurs de modèles reparamètrent régulièrement leurs outils au fur et à mesure que des possibilités d’attaque sont signalées. Mais la tâche est complexe. “Il y a un aspect de pure cybersécurité, mais on touche aussi à la notion d’IA responsable, qui consiste à mettre les moyens pour que le système ne sorte pas d’un certain cadre, explique Christophe Auberger. C’est d’autant plus difficile à faire que le système est très généraliste. ” À cela s’ajoute un facteur typique de ces technologies: une confiance presque aveugle en des outils fascinants. En cybersécurité, c’est connu, la faille principale est souvent humaine.
Deepfake
Traduit en français par “hypertrucage”, le deepfake est l’usage malveillant le plus connu de l’IA. Il consiste à générer du faux contenu (image fixe, vidéo, son) avec des technologies d’apprentissage profond. Les deepfakes sont apparus en 2014, avant ChatGPT ou Dall-E 2, à la suite de l’invention des réseaux génératifs antagonistes à l’Université de Montréal (Canada). Ils servent le plus souvent à remplacer le visage d’une personne par celui d’une autre sur une vidéo. En janvier, un employé de multinationale à Hongkong a été invité à une visioconférence par des collègues. Il a reçu pour instruction de procéder à 15 virements bancaires pour un total de 26 millions de dollars. C’était une escroquerie: la réunion était une séquence préenregistrée et les “collègues” étaient des deepfakes fabriqués par des cybercriminels à partir de vidéos publiques disponibles.
Pour plus d’informations et d’analyses sur la Niger, suivez Africa-Press
