Sous la façade mathématique, les vieux biais humains persistent
Ils trient les candidatures, classent les élèves, orientent les décisions judiciaires, distribuent des crédits, surveillent des quartiers. Invisibles mais omniprésents, les algorithmes prennent aujourd’hui des décisions que l’on croyait autrefois réservées à l’humain. Mais contrairement à ce que suggère leur apparente objectivité, les algorithmes ne sont pas neutres. Ils sont conçus par des êtres humains, entraînés avec des données humaines, et déployés dans des sociétés traversées par les inégalités. Résultat : au lieu de corriger les biais du passé, ils les automatisent.
Derrière chaque algorithme, il y a une série de choix : quelles données utiliser ? Quelles variables inclure ? Quels critères optimiser ? Ce processus, hautement technique, repose sur des décisions humaines, parfois implicites. Et c’est précisément là que les biais se glissent. Le scandale de l’algorithme utilisé par le ministère de l’Éducation nationale au Royaume-Uni en 2020 en est une illustration frappante. Face à l’annulation des examens finaux en raison du Covid-19, le gouvernement a confié à un algorithme la tâche d’attribuer les notes du baccalauréat à des centaines de milliers de lycéens. Résultat : les élèves issus d’établissements défavorisés ont vu leurs notes fortement dégradées par rapport à celles des écoles privées ou élitistes. Pourquoi ? Parce que l’algorithme s’est appuyé sur les performances historiques des écoles, et non sur le potentiel réel des élèves. Le tollé fut tel que le gouvernement dut faire marche arrière. Ce cas illustre comment une décision apparemment « rationnelle » peut entériner les inégalités sociales les plus crues.
Autre exemple, celui de Clearview AI, une entreprise américaine spécialisée dans la reconnaissance faciale. Son système, utilisé par des centaines de services de police, prétend pouvoir identifier des suspects à partir de simples photos. Mais une étude menée par l’AITP (Algorithmic Justice League) a révélé des taux d’erreurs très élevés chez les femmes noires et asiatiques, jusqu’à 35 %, contre moins de 1 % pour les hommes blancs. L’algorithme avait été entraîné à partir d’images principalement masculines et blanches. L’intelligence artificielle, ignorant tout de la justice, reproduisait mécaniquement le déséquilibre de sa base de données. Pire encore : des citoyens ont été arrêtés sur la base de fausses correspondances. Le cas de Robert Williams, Afro-Américain arrêté à tort dans le Michigan, en est une illustration glaçante.
En matière de santé publique, les biais algorithmiques peuvent aussi mettre des vies en danger. Une étude publiée dans Science en 2019 a montré que l’un des plus grands algorithmes de santé prédictive aux États-Unis discriminait systématiquement les patients noirs. Il servait à orienter les patients vers des soins plus personnalisés. Mais en s’appuyant sur les dépenses de santé passées pour évaluer les besoins, l’algorithme partait du principe que ceux qui avaient coûté plus cher étaient ceux qui avaient le plus besoin de soins. Problème : les patients noirs, historiquement moins bien soignés, coûtent en moyenne moins – non parce qu’ils sont en meilleure santé, mais parce qu’ils ont moins accès aux soins. Résultat : des millions de patients noirs étaient sous-évalués et sous-traités, dans un système censé améliorer leur prise en charge.
Ce ne sont pas des cas isolés. Les biais liés au genre, à la race, à la langue, au revenu ou au lieu de résidence sont partout. En France, plusieurs études ont montré que les algorithmes de ciblage publicitaire utilisés par des plateformes comme Facebook ou Google favorisent l’exposition de certaines offres d’emploi (par exemple dans la tech ou la finance) à des hommes plutôt qu’à des femmes, même si l’annonceur ne l’a jamais demandé. Le système optimise la « performance » – c’est-à-dire le taux de clics – sans se soucier des effets discriminants. Et personne ne le voit : ni l’utilisateur, ni le recruteur, ni la victime.
Ce qui rend ces discriminations plus dangereuses encore, c’est qu’elles sont souvent invisibles, opaques, impossibles à contester. Comment faire valoir ses droits face à une décision prise par une machine, dont le fonctionnement est gardé secret au nom du secret industriel ? Que répondre à un refus de prêt ou à une convocation policière quand l’administration dit simplement : « c’est l’algorithme qui l’a décidé » ?
Il est temps de sortir du mythe d’une technologie froide et impartiale. Les algorithmes sont des créations humaines, profondément marquées par nos logiques économiques, sociales et politiques. Les programmer, ce n’est pas simplement coder : c’est faire des choix sur le monde que l’on veut reproduire.
Face à cette réalité, trois exigences s’imposent. D’abord, la transparence : tout algorithme utilisé dans un contexte public ou ayant un impact significatif sur les individus doit pouvoir être audité. Ensuite, la responsabilité : les entreprises et les institutions ne peuvent plus se réfugier derrière la machine pour esquiver leur devoir de justice. Enfin, la vigilance citoyenne : il appartient à chacun de nous, journalistes, chercheurs, élus, enseignants, d’interroger sans relâche ces nouveaux pouvoirs algorithmiques.
Loin d’être neutres, les algorithmes sont les miroirs – parfois déformants – de nos sociétés. Ils ne feront jamais mieux que ce que nous leur donnons à voir. Le progrès technologique n’a de sens que s’il sert à corriger les injustices humaines, et non à les reproduire en silence.