Biais algorithmique

Pour éviter que les algorithmes soient biaisés, certaines recherches comme Pedreshi 2008 visent à développer des algorithmes qui respectent des principes d'équité[9] - [10].

Cette approche suppose de définir l'équité. Corbett-Davies et Goel 2018 distinguent trois définitions[11] :

• l'anti-classification consiste à ne pas prendre en compte les variables susceptibles de discriminer (par exemple le genre ou la race)
• la parité de classification consiste à faire en sorte que la performance du modèle soit la même entre les différents groupes
• la calibration consiste à faire en sorte que les résultats conditionnellement au risque estimé soient indépendants des différents groupes.

Hamilton (2016) distingue aussi l'équité individuelle et l'équité de groupe. L'équité individuelle garantit que les individus aux caractéristiques similaires soient traitées de la même manière tandis que l'équité de groupe traite les personnes des différents groupes de manière différente de manière à obtenir une égalité de résultats[12].

Les programmeurs qui développent des algorithmes peuvent être sujets à de nombreux biais cognitifs. Parmi ces biais, le biais du mouton de Panurge consiste à utiliser une modélisation populaire sans s'assurer de sa pertinence dans un contexte donné. Le biais de confirmation consiste à favoriser sa vision du monde sans prendre en compte les données qui ne vont pas dans son sens[9].

Les data scientists qui programment les algorithmes ne sont pas représentatifs de la population en général. Une étude de l'institut AI Now de 2018 souligne que seuls 15% du personnel de recherche en intelligence artificielle chez Facebook et 10% chez Google sont des femmes[13] - [14].

La surreprésentation des hommes blancs parmi les data scientists et la sous représentation des minorités peut conduire les data scientists à ne pas assez prendre en compte les biais et les discriminations potentiels. C'est ce que D'Ignazio et Klein 2020 appellent le "risque de privilège" (privilege hazard)[14].

Les biais statistiques peuvent provenir des données contenues en entrée de l'algorithme ou de l'algorithme lui même[9].

En 2015, un algorithme d'évaluation de curriculum vitæ développé par Amazon a été arrêté quand on s'est aperçu qu'il discriminant fortement les CV feminins[9] - [15].

Les biais peuvent aussi venir de la méthode statistique par exemple le biais de variable omise, le biais de sélection ou le biais d'endogénéité[9].

Les biais économiques sont liés aux incitations économiques des acteurs[9].

Par exemple, Lambrecht et Tucker 2017 ont montré qu'il était plus rentable de cibler les annonces de publicité pour des emplois dans la technologie vers des hommes que vers des femmes[16] - [9].

Les modèles de word embeddings (plongements lexicaux) peuvent reproduire les biais psychologiques humains.

Caliskan, Bryson et Narayanan 2017 étudient le modèle de plongement vectoriel GloVe (en) et montrent que l'on retrouve des associations implicites entre des mots porteuses de préjugés. Ils proposent une méthode de mesure des préjugés inspirée du test d'association implicite[17].

Selon Buolamwini et Gebru 2018, les femmes sont moins facilement reconnues par les logiciels de reconnaissance faciale d'IBM, Microsoft et Face ++. Sur 1270 portraits officiels de personnalités politiques qui leur ont été soumis, Face ++ a vu juste pour 99,3% des hommes, mais seulement 78,7% des femmes. Ainsi, 95,9% des erreurs de l'entreprise concernaient des femmes[18] - [19].

Les algorithmes de recommandation peuvent conduire à des résultats biaisés vers certains contenus.

Par exemple, les travaux de rétro-ingénierie sur l'algorithme de recommandation de YouTube mené par Guillaume Chaslot et l'association Algotransparency montrent que l'algorithme a tendance à favoriser les contenus à caractère complotistes[20].

En 2016, l'agent conversationnel Tay développé par Microsoft et déployé sur Twitter a du être retiré après 24 heures à la suite de la tenue de propos à caractère raciste[21].

Dans certains états américains, la justice des libertés et de la détention appuie ses décisions de libération anticipée des détenus, sur des algorithmes d'évaluation du risque ; on appelle cela la justice prédictive. En 2016, une enquête de l'ONG ProPublica a mis en évidence que l'algorithme de la société Northpointe (en), bien que ses concepteurs affirment ne pas prendre directement en compte la race, avait un biais raciste[22] - [23].

Pour documenter les biais algorithmiques, il faut pouvoir les auditer. Pour cela, Angwin et al. 2016 ont collecté des données et développé leur propre modèle pour être en mesure de mettre en évidence, le biais de l'algorithme d'évaluation des risques de récidive[23].

D'après la sociologue Angèle Christin, il existe, avec les audits, deux autres façons d’aborder le problème du biais algorithme[30]. La première est l’approche historique et culturelle. Elle consiste en une reconsidération des évènements de biais algorithmique dans des séquences plus longues en s’appuyant sur la sociologie critique. Les algorithmes reproduiraient des structures préexistentes de discrimination[31], surveillance[32] et de marchandisation[33]. Le seconde est l’approche ethnographique. Elle permet d’un coté de déterminer quelles forces structurelles permettent l’émergence de biais et de l’autre coté, considérer comment les algorithmes sont influencés par leurs usages quotidiens. Angèle Christin propose trois méthodes dans le cadre de cette approche pour étudier les algorithmes. “Algorithmic refraction” consiste en l’examen des reconfigurations qui ont lieu pendant l’usage des algorithmes et leur interaction avec le public et les institutions. “Algorithmic comparaison” désigne l’analyse de différents usages d’un même algorithme dans différents domaines pour comprendre l’émergence de biais dans les différences d’applications et de fonctionnement. Finalement, “algorithmic triangulation” repose sur l’usage d’algorithmes secondaires pour recueillir des données sur l’algorithme étudié.

Les États-Unis n'ont pas de législation d'ensemble qui régule les biais algorithmiques. Le traitement de cette question peut se faire à l'échelle fédérale ou à l'échelle d'un état, et varie selon les secteurs, selon l'utilisation qui en est faite et selon l'industrie ou l'administration concernée. En 2017, la ville de New York a voté une loi instituant une commission contrôlant l'utilisation des algorithmes dans la ville[34].

• Apprentissage automatique
• Correction d'un algorithme
• Éthique de l'intelligence artificielle