Africa-Press – Madagascar. Prakhar Ganesh est étudiant à l’Université nationale de Singapour, spécialiste de questions d’équité et de confidentialité dans les technologies d’apprentissage automatique. À l’automne 2022, il a mobilisé cette expertise pour remporter un concours un peu particulier. Organisée par un groupe de bénévoles appelé Bias Buccaneers, la compétition consistait à développer un algorithme capable d’indiquer correctement la couleur de peau de 15.000 visages générés artificiellement, d’évaluer leur tranche d’âge et leur genre. Mais les modèles n’étaient pas jugés sur le seul taux de bonnes réponses. Ils devaient aussi afficher des performances équivalentes sur des visages à peau sombre ou claire, masculins ou féminins, jeunes ou vieux. Et face à une image sans visage, si le modèle indiquait une couleur de peau, celle-ci devait s’avérer aléatoire, aucune ne devait prédominer dans les prédictions.
“Ces critères ont été choisis en raison du fait que certaines catégories de personnes pâtissent du manque d’efficacité de modèles d’apprentissage automatique de ce genre”, explique Prakhar Ganesh. C’était tout l’objet du concours. Qualifié de “bias bounty”, sur le modèle des programmes de récompenses “bug bounty ” (prime au bug) dédiés à la recherche de failles de sécurité informatique, il poussait les développeurs à se préoccuper des possibles biais de leurs outils.
Cette question des biais et du manque d’équité est récurrente en intelligence artificielle (IA). “Ce travers concerne particulièrement les IA de type statistique, les réseaux de neurones, car elles n’extrapolent jamais, elles interpolent entre leurs données, note Jean-Louis Dessalles, maître de conférences à Télécom Paris, membre du Laboratoire de traitement et communication de l’information. S’il existe un biais sexiste dans les données d’apprentissage, elles vont le reproduire. ”
Les travaux de la chercheuse Joy Buolamwini au Massachusetts Institute of Technology (Cambridge, États-Unis) ont beaucoup contribué à montrer combien les algorithmes de reconnaissance faciale fonctionnaient beaucoup moins bien sur des femmes noires que sur des hommes blancs. Des tests ont révélé une discrimination envers les Noirs dans le logiciel Compas, qui évalue le risque de récidive d’un détenu pour le libérer ou non sur parole, ou dans un algorithme utilisé par les services de la protection de l’enfance d’un comté de Pennsylvanie. “Il est important de ne pas oublier d’autres domaines d’application, plus discrets, où les algorithmes sont déjà présents : banques, assurances, allocations, emploi… “, avertit Philippe Besse, professeur émérite au département de mathématique et modélisation de l’Institut national des sciences appliquées (Insa) de Toulouse. Début 2017, Amazon a abandonné un projet d’algorithme de recrutement car celui-ci ne cessait de privilégier les hommes aux postes techniques.
En cause, la base de données sur laquelle est bâti l’algorithme
D’où des initiatives comme le bias bounty de l’automne 2022. L’université californienne Stanford a également lancé une compétition sur ce thème. Les candidats doivent proposer des outils permettant d’auditer un système d’IA pour dire si elle est génératrice de discriminations. Le problème peut résider dans l’algorithme même, mais le plus souvent, il faut chercher du côté des bases de données ayant servi à l’entraîner.
“Pour bâtir des IA traitant du langage, on utilise des textes écrits par des humains, issus d’une certaine culture, avec un certain point de vue, explique Jean-Paul Delahaye, du Centre de recherche en informatique, signal et automatique de Lille. En matière d’image, le biais sera lié aux choix des images avec lesquelles on organise l’apprentissage, pas forcément à l’image elle-même. ” Certains outils de reconnaissance faciale étudiés par Joy Buolamwini étaient entraînés sur une base comptant 77,5 % de visages masculins, blancs à 83,5 %.
La solution ? Ajouter ou retirer des données, selon les cas de figure. En 2017, le constructeur automobile Volvo est ainsi allé filmer en Australie des kangourous car les systèmes de détection visuelle de ses voitures autonomes n’avaient pas été entraînés sur cet animal. “Une autre technique consiste à altérer le signal d’erreur qui sert à l’apprentissage (indication reçue par l’algorithme qu’il se trompe dans sa prédiction, ndlr) en l’augmentant lorsqu’il lèse à tort une catégorie, ajoute Jean-Louis Dessalles. Cela change les décisions apprises, mais cela implique de repérer le biais pendant l’apprentissage. ”
Dans certaines situations, on élimine des données les critères conduisant à des discriminations, comme le genre des candidats à l’embauche sur des CV ou dans des dossiers de demande de financement. “Mais ces algorithmes sont d’excellents prédicteurs, prévient Jean-Louis Dessalles. Si on supprime des attributs pertinents, leur stratégie sera de les remplacer par d’autres qui sont corrélés. ” Ayant par exemple appris sur une base de données que les hommes sont plus amateurs de football que les femmes, un algorithme déjà biaisé en faveur des hommes favorisera les amateurs de ballon rond quand l’information apparaîtra. Le problème étant qu’il est impossible de savoir à l’avance à quelles corrélations de substitution il va procéder. Et à trop supprimer d’attributs conduisant à des biais, on finit par dégrader la qualité globale de la décision de l’algorithme.
Quoi qu’il en soit, corriger un biais affectant un groupe provoque une précision moindre en moyenne. Si on parvient à éliminer une discrimination touchant tel groupe de personnes dans un algorithme de recrutement, une autre catégorie de profils, qui n’a rien à voir, va soudain être injustement jugée inapte pour le poste, alors que l’algorithme prenait la décision inverse avant sa correction. “Il y a un conflit entre l’équité entre groupes et l’équité moyenne pour les individus “, résume Jean-Louis Dessalles.
Les données comportent toujours des biais
Une démarche plus radicale consiste alors à refaire complètement l’apprentissage de l’algorithme, à partir d’autres données. Trois chercheuses des universités Carnegie Mellon et A&M du Texas (États-Unis) ont fait le test avec un outil de police prédictive. Ces algorithmes, dont PredPol est le plus connu, identifient les zones où envoyer en priorité des patrouilles de police (hot spots), en fonction d’un historique de données sur les interventions policières, les arrestations ou des crimes et délits. Or, il a été vite constaté, notamment aux États-Unis, qu’ils surciblaient à tort les quartiers défavorisés et peuplés de minorités.
Les chercheuses ont travaillé sur la ville de Bogata (Texas). Elles ont bâti un outil de prédiction de type PredPol entraîné sur les résultats d’un sondage bisannuel de la chambre de commerce. Il recense les crimes et délits signalés par des victimes et le fait qu’elles ont déposé plainte ou non. L’étude montre que les victimes, qu’elles soient blanches ou noires, ont tendance à plus signaler un crime commis par un Noir ; et que les personnes aisées ne signalent pas les mêmes méfaits que les plus défavorisés, car elles n’ont pas la même perception de leur gravité. Dans d’autres cas, la méfiance envers les forces de police dissuade les gens de porter plainte. Avec pour résultat de surévaluer les hot spots dans certains quartiers et de les sous-estimer dans d’autres.
Changer de données d’apprentissage s’est donc traduit malgré tout par des biais. Toutes ces limites n’invalident pas les efforts déployés pour endiguer le problème, et la prise de conscience est réelle. Des outils sont même développés pour débusquer automatiquement les biais. Mais ceux-ci restent néanmoins inévitables. La vraie question porte sur leur acceptabilité. Des villes américaines ont cessé par exemple de recourir à PredPol. Ce n’est pas la même chose de “subir” des recommandations biaisées de films sur Netflix ou un refus de remise de peine basé sur la couleur de peau.
Des générateurs de stéréotypes
Le Diffusion Bias Explorer est une interface mise en ligne par The Hugging Face, société américaine spécialisée en apprentissage automatique. Associée à un chercheur de l’Université de Leipzig (Allemagne), l’équipe a utilisé trois outils de génération d’images à partir de textes : Dall-E 2 et deux versions de Stable Diffusion. Ils ont produit 96.540 visuels répartis en deux corpus : l’un combine 150 professions et 20 adjectifs, l’autre associe trois genres (homme, femme, non-binaire) et une communauté (afro-américaine, latino-américaine, amérindienne, blanche…). Explorer les résultats est un voyage dans les stéréotypes : les Amérindiens portent forcément des coiffes à plumes, les conducteurs de bus sont noirs, les adjectifs “bienveillant” ou “émotif” privilégient les images de femmes, mais pas quand ils sont associés à “expert en informatique” ou “P-DG”.
Pour plus d’informations et d’analyses sur la Madagascar, suivez Africa-Press
