Africa-Press – Guinee Bissau. La fraude scientifique a toujours été un fléau difficile à éradiquer. Mais certains chercheurs s’obstinent à la combattre. Tel est le cas du chercheur de l’Institut de Recherche en Informatique de Toulouse, Guillaume Cabanac. Il avait déjà été reconnu en 2021 par la revue scientifique Nature pour sa croisade contre les faux articles scientifiques. Maintenant, il s’attaque à une nouvelle forme de fraude scientifique : l’utilisation des IA, notamment de ChatGPT, dans la fabrication d’articles scientifiques. Mettant en évidence des chercheurs qui ont utilisé ce générateur de texte (sans déclarer cette utilisation), potentiellement dans le but de fabriquer le contenu de leurs articles. Pour en savoir davantage sur cette nouvelle pratique questionnable qui pourrait rendre la fraude scientifique plus difficile à détecter, Sciences et Avenir a interrogé ce lanceur d’alerte.
Ne pas vicier le “mur des connaissances”
Sciences et Avenir : pourquoi avez-vous décidé de rechercher les articles qui utilisent ChatGPT sans le déclarer ?
Guillaume Cabanac : Je pense qu’il est crucial en science de garantir que les travaux publiés soient fiables. On peut le résumer par la métaphore du mur des connaissances. L’article scientifique est une brique qui doit être la plus robuste possible. Par la suite, la communauté scientifique empile les briques pour créer le mur des connaissances. Lorsque certaines briques ne sont pas fiables, voire carrément friables, le mur risque de s’effondrer.
Il me paraît essentiel que chaque scientifique, chaque chercheur, questionne les savoirs accumulés ainsi et signale toute erreur identifiée. Si je trouve une erreur dans un article et que je le garde pour moi, que j’en parle au café, cette nouvelle connaissance va impacter ma salle de café, c’est tout. Et là, je parle de la science qui fonctionne correctement, mais il y a aussi des gens malintentionnés qui fabriquent des articles creux voire bidons pour publier beaucoup et avoir un CV bien rempli.
Des fraudeurs peuvent aussi acheter des citations pour être très cités et devenir très visibles. En matière de correction de la science, il convient de distinguer la science normale qui révise les connaissances continuellement (certains articles deviennent caducs), et il y a la science anormale qui se traduit par une pollution intentionnelle. Je travaille à essayer d’éliminer cette pollution de façon curative (il faut éliminer les articles problématiques déjà publiés) et préventive en concevant des méthodes pour identifier les nouvelles façons d’arnaquer.
Et l’arrivée des intelligences artificielles qui peuvent créer du texte, telles que ChatGPT, pourrait empirer cette pollution…
Le mésusage de ChatGPT est une nouvelle façon d’arnaquer. Cette nouvelle technique permet à des gens de produire rapidement du texte qui paraît scientifique. Avant c’était plus facile d’identifier un texte faux (généré par une machine), mais les textes générés par ChatGPT paraissent plus scientifiques.
Je crains qu’ils ne soient pas détectés, et qu’ils soient encore moins rétractés et moins questionnés que les faux articles qu’on trouvait auparavant.
Certains fraudeurs ne relisent même pas le texte généré par ChatGPT !
Si ces textes paraissent plus scientifiques, comment faites-vous pour les identifier ?
Certains des chercheurs qui utilisent ChatGPT se sont fait avoir parce qu’en copiant le texte généré par ce logiciel, ils copient aussi le texte du bouton “Regenerate response” ou l’avertissement de l’IA qui prévient qu’elle peut produire de fausses informations. Ceci est une preuve irréfutable que les auteurs produisant ces articles n’ont même pas relu le texte généré par ChatGPT suite à leur copier-coller.
Se pourrait-il que ces chercheurs utilisent ChatGPT de façon innocente, pas pour frauder, mais pour mieux rédiger en anglais ?
Des outils permettant d’aider à la rédaction, tels qu’Antidote ou Grammarly, ont été produits et utilisés bien avant ChatGPT. Ce dernier se distingue des prédécesseurs car il est réputé pour halluciner et inventer des faits scientifiques. C’est ça la difficulté : il faut être encore plus vigilant avec les articles qui ont utilisé ChatGPT.
Lorsque je trouve des articles contenant des problèmes comme de phrases torturées ou ces marques laissées par ChatGPT, je signale ces problèmes sur PubPeer.org afin que les lecteurs soient mis au courant.
Certains auteurs des articles signalés se défendent en me disant exactement ça : “Je ne suis pas anglophone natif, j’utilise ChatGPT pour m’aider à écrire en anglais”. Mais même dans ce cas il faut faire attention à relire ce qui est produit, il faut être méticuleux. Comment se fait-il qu’aucun des co-auteurs n’ait trouvé les aberrations “Regenerate Response” ou le “As an AI Language Model, I cannot…” en relisant l’article ?
“Les maisons d’édition aussi ne font pas suffisamment attention”
On pourrait aussi se poser la question de pourquoi ces phrases n’ont pas non plus été détectées lors de l’édition et la révision par les pairs, puisqu’ils ont été publiés…
Les maisons d’édition aussi ne font pas suffisamment attention. Par exemple, j’ai détecté “Regenerate Response” dans un papier de IOP, Institute of Physics, une maison d’édition de premier plan. IOP a mis en ligne le manuscrit accepté des auteurs, qui contenait ce “Regenerate Response””. Je le signale, espérant que dans la version finale ça n’apparaîtra pas (on peut voir le signalement sur le site de PubPeer, ndlr). Mais dans la version finale publiée, cette phrase était toujours là malgré ce signalement, et personne ne l’a remarqué (ou alors ça n’a pas été pris en compte) : ni les éditeurs, ni les évaluateurs (reviewers), ni les typographes.
Ce n’est qu’après la publication que IOP a décidé de rétracter l’article. Mais ça me paraît complètement fou. En tant que chercheur j’ai toujours peur qu’il y ait une erreur dans un de mes papiers, je le vérifie la version préparée par les typographes avec la plus grande attention. Je ne peux pas croire que des scientifiques méticuleux laissent passer quelque chose comme ça.
Ces oublis pourraient-ils être causés par la pression croissante à publier dans le monde de la recherche
Si on n’est pas méticuleux, qu’est-ce qu’on risque ? Une rétraction. Voire pire : un article journalistique relatera votre mésaventure comme quelque chose de malhonnête (comme l’article cité précédemment qui a fait l’objet d’un article dans Nature, ndlr). C’est hyper grave et domamgeable pour la réputation des auteurs et de leurs institutions.
Et le “publish or perish” n’est pas une excuse. Cette expression remonte aux années 1930. Depuis 1930, les gens sont pressés, à chaque époque il faut produire plus. Pourtant, je n’ai pas en mémoire des papiers des années 50, 60, 70, 80 où il y a des erreurs aussi grossières que des phrases torturées. Aminoacide est écrit aminocorrosive dans certains papiers publiés. C’est consternant.
En plus de faire gonfler artificiellement le CV et accélérer la carrière de certains chercheurs, quel est le risque de ces faux articles ?
La science se fonde sur les connaissances déjà produites. Un article percutant peut ne plus valoir grand chose s’il s’appuie sur des articles faux.
J’utilise ici la métaphore du colosse aux pieds d’argile. Par exemple : un chercheur cite un article qui prouve que A implique B, et l’utilise pour montrer que A implique C en passant par B implique C. Mais si le papier qui disait prouver que A implique B est rétracté, la démonstration que A implique C n’est plus valide.
En ce moment, je travaille sur un détecteur qui identifie les articles rétractés (il y en a à peu près 50.000) et qui identifie les articles qui citent ces articles rétractés (des briques friables, des pieds d’argile). C’est ça le risque aujourd’hui. Des articles voire des ouvrages qui dans leur bibliographie ont 10, 20 articles rétractés, j’en trouve des centaines.
Certes, peut-être que le jour de l’écriture de l’étude, les références mobilisées n’étaient pas rétractées. Mais la pertinence des articles doit être révisée au cours du temps. Je suis partisan que les maisons d’édition réévaluent la pertinence et la fiabilité de leur catalogue comprenant les articles publiés jusqu’alors.
Par exemple, lorsqu’un livre contient 18 références rétractées, il convient de se poser la question : cet ouvrage est-il encore fiable, doit-on le garder au catalogue et continuer à le vendre des centaines d’euros ? Actuellement, sans cette réévaluation, la propagation des erreurs continue et s’amplifie.
Pour plus d’informations et d’analyses sur la Guinee Bissau, suivez Africa-Press
