Africa-Press – Madagascar. L’intelligence artificielle pratique le langage naturel avec une aisance confondante. Plusieurs expériences montrent la difficulté de distinguer les textes écrits par des humains et par des chatbots…
C’est un résultat qui en dit long. Pour juger des performances de langage de ChatGPT, deux chercheurs américains en linguistique des universités de Floride du Sud et de Memphis ont eu l’idée de soumettre à pas moins de 72 autres linguistes quatre extraits d’articles de recherche dans cette discipline. Longs de 300 mots, certains avaient été écrits par des chercheurs, publiés dans des revues à comité de lecture, quand d’autres avaient été générés par l’agent conversationnel d’OpenAI en résumant les articles dont étaient issus les extraits. Les linguistes devaient distinguer les uns des autres. Bilan ?
Moins de 39 % de bonnes réponses sur l’ensemble des participants. “La plupart des répondants ont eu deux mauvaises réponses ou plus sur quatre, dans les deux sens (un article rédigé par un humain désigné comme écrit par ChatGPT et inversement, ndlr), ajoute J. Elliott Casal, de l’Université de Memphis. Dans l’ensemble, ils ont été meilleurs pour identifier les textes provenant d’un humain que d’une IA. ” Dans le détail, personne n’a su donner quatre bonnes réponses, ils ne sont que 18,1 % à en avoir fourni trois et 34,7 % à avoir vu juste deux fois sur quatre… “D’un point de vue rhétorique et linguistique, ces textes étaient très stéréotypés et courts, mais nous pensions tout de même qu’il aurait été plus facile que cela de repérer ceux générés par IA “, reconnaît le chercheur.
Une démonstration dépendante des conditions de l’échange
En matière de langage naturel, la frontière entre humain et machine serait-elle en train de se brouiller ? Une autre expérience tend à le montrer. Entre 2022 et 2023, la société israélienne AI21 Labs, spécialisée dans le développement de modèles de langage, a mené un test de Turing géant sous la forme d’un jeu en ligne appelé Human or Not ? (lire l’encadré). Sur dix mois, 1,5 million d’utilisateurs ont dialogué pendant deux minutes avec un interlocuteur pour deviner s’il s’agissait d’un humain ou d’un agent conversationnel.
Les chatbots étaient bâtis sur plusieurs technologies pour éviter une monotonie de style qui aurait pu servir d’indice. Ils ne répondaient qu’après un délai calqué sur le temps d’une frappe de clavier par un humain, employaient de l’argot, commettaient des erreurs de syntaxe… Et pour parfaire l’imitation, “certains bots étaient programmés pour quitter abruptement la conversation dans certaines conditions, quand ils se sentaient ‘offensés’ ou quand l’échange devenait répétitif “, précisait AI21 Labs en mai dernier. Les participants avaient toute latitude pour deviner le statut de leur interlocuteur. Dix millions d’échanges ont été enregistrés, entre humains et intelligence artificielle et entre deux humains.
Résultat : 68 % d’identifications exactes d’une l’IA ou d’un humain, et les seuls chatbots ont été débusqués dans 60 % des cas. C’est peu, surtout dans un contexte si généraliste. Mais, ce genre de démonstration reste dépendant des conditions de l’échange. “Si vous discutez d’un sujet tout à fait standard pendant trois à cinq minutes, la confusion entre humain et machine est possible, note Alexei Grinbaum, directeur de recherche au Commissariat à l’énergie atomique et aux énergies alternatives, à Saclay, et auteur de “Parole de machines” (HumenSciences). Mais si vous échangez pendant deux heures, que vous abordez 40 sujets différents, vous finirez par savoir que vous êtes face à une IA. ” Des bizarreries surviennent, des répétitions, des transitions bancales… Car ces technologies ne fonctionnent pas sur le sens des mots mais génèrent des groupes de caractères selon un score de probabilité.
Un filigrane pour marquer les textes artificiels
Savoir si l’IA peut passer pour un humain est un faux débat, estime le chercheur. “Même si vous savez que vous parlez à une machine, vous ferez quand même des projections anthropomorphes sur elle. Vous projetterez des états de connaissance, des émotions… C’est devenu évident avec la nouvelle génération d’outils très performants, et c’est pour cela que le test de Turing est obsolète : même sans confusion entre IA et humain, ces interactions ont des effets sur nous. ”
Ce qui soulève le problème des usages douteux de ces technologies : copies d’examen générées par IA, fausses discussions en ligne, faux documents. D’où des projets en cours de techniques de code à filigranes, capables de marquer automatiquement, par des règles intégrées dans le modèle de langage, des textes créés artificiellement. Ces codes seraient invisibles à l’œil nu mais détectables par un logiciel ad hoc.
Le test de Turing
Dans un célèbre article d’octobre 1950 de la revue Mind, le mathématicien britannique Alan Turing se demande si “une machine peut penser”. Il imagine un “jeu de l’imitation” : un interrogateur dans une pièce isolée interagit par écrit avec deux interlocuteurs pour deviner lequel est un humain et lequel est un ordinateur.
Selon Alan Turing, en 2000, l’interrogateur n’aura pas plus de 70 % de chances de distinguer l’humain de la machine après cinq minutes d’échange. C’est ce que l’on a appelé le test de Turing, mais il s’agit d’une proposition d’outil empirique. En raison de son descriptif sommaire, chacun peut l’adapter comme il veut, ainsi que l’ont fait Hug Loebner, l’inventeur du prix Loebner, jusqu’en 2019, ou le jeu Human Or Not ?. En réalité, Alan Turing lui-même écrit que son jeu ne peut servir qu’à évaluer cette confusion humain-machine, mais pas à déterminer si une machine est intelligente.
Pour plus d’informations et d’analyses sur la Madagascar, suivez Africa-Press
