Libres, ensemble
Doubles numériques :
l’illusion des miroirs déformants
Ben Buetusiwa · Stagiaire
Mise en ligne le 13 juin 2023
Opérant dans l’ombre, les algorithmes transforment nos habitudes, orientent nos préférences ou décisions, et refaçonnent notre rapport au réel. Employés dans la gestion de la chose publique, ils administrent des sujets qui nous sont proches : nos « doubles numériques ». Comment s’y prennent-ils et quelles conséquences leur usage entraîne-t-il ?
Photo © Shutterstock
Dans l’après-midi du 15 janvier 2021, le Premier ministre néerlandais Mark Rutte, en poste depuis 2010, annonçait la démission de son gouvernement lors d’une conférence de presse. Une décision provoquée par des pressions politiques et populaires après la divulgation de l’affaire des allocations, dite « toeslagenaffaire », un scandale d’État mettant en cause l’administration fiscale du pays.
Entre 2013 et 2019, des milliers de familles ont été accusées à tort de fraude sociale et contraintes de rembourser les montants perçus. Entre-temps, le versement de leurs allocations a été suspendu. Ces ménages ont rencontré par la suite d’énormes problèmes financiers et certains d’entre eux se sont vu retirer la garde de leurs enfants. Un rapport parlementaire du 17 décembre 2020 a dévoilé l’implication dans le scandale d’un outil algorithmique d’aide à la décision. Le rapport qualifiant l’affaire d’« injustice sans précédent ». En effet, les victimes ont été sanctionnées sur la seule base des résultats avancés par le logiciel, et nombre d’entre elles ont fait l’objet d’un profilage ethnique fondé sur leur double nationalité.
Des applications toujours plus nombreuses
S’il est légitime de s’inquiéter de la confiance aveugle dans ces logiciels dont ont fait preuve les autorités néerlandaises, il l’est d’autant plus de s’interroger sur la popularisation du recours à ces nouvelles technologies. Colonisant les lieux de prise de décision en y métamorphosant les modes, les algorithmes statistiques, intelligents ou non, s’imposent de plus en plus dans de nombreux domaines comme des outils incontournables. Ils conditionnent l’octroi de nouveaux prêts ou évaluent le niveau de risque du portefeuille de crédits en production dans le secteur bancaire. Dans le champ de la santé, ils peuvent être utilisés afin de prédire la survenance d’une maladie et d’anticiper son évolution ou bien pour recommander des traitements personnalisés.
Plus interpellant encore : l’emploi de ces algorithmes dans les cours et tribunaux américains pour déterminer une sentence ou pour évaluer une demande de libération conditionnelle.
Des emplois variés donc, à travers une multitude de secteurs. Pour autant, même s’ils semblent s’imposer naturellement et n’apparaître que comme une évolution logique dans le sens du progrès technologique, leurs mécanismes et les implications d’un usage généralisé restent pour le moins incompris. Ainsi, il est essentiel d’éclaircir leur mode de fonctionnement et de s’interroger sur les répercussions qu’entraînerait une utilisation toujours plus massive de ces outils, comme a l’air de le laisser penser la tendance actuelle.
Entre notre identité réelle et notre identité numérique issue des informations présentes sur Internet, il peut y avoir un fossé, mais aussi une exploitation erronée.
© Shutterstock
L’émergence d’une gouvernementalité statistique
Deux chercheurs belges, Thomas Berns, professeur de philosophie politique à l’ULB, et Antoinette Rouvroy, professeure de questions d’éthique appliquées au droit à l’UNamur, ont étudié le phénomène. Ils se sont penchés sur la notion de gouvernementalité statistique1 développée par le philosophe français Michel Foucault. Davantage une posture de recherche qu’une réalité palpable, cette approche privilégie la réflexion sur les pratiques du pouvoir, s’écartant des considérations relatives à sa nature ou à sa légitimité. Antoinette Rouvry, reprenant Foucault lors d’un débat pour la chaîne YouTube de PointCulture, estime que « gouverne tout ce qui est capable ou a l’intention de façonner par avance le champ d’action d’autrui »2. Elle poursuit en expliquant qu’un siège sur lequel s’assoit un individu le gouverne dans la mesure où il lui permet d’adopter un nombre limité de positions. Elle illustre ainsi parfaitement l’évitement du prisme institutionnel qu’autorise le terme de « gouvernementalité ». Il recouvre donc un spectre plus large que le concept de gouvernement qui mobilise, à cause de nos traditions politiques, un imaginaire difficilement dissociable de l’influence d’une volonté humaine. Dans leur exposé, les deux chercheurs décomposent schématiquement le processus de fonctionnement des algorithmes décisionnels en trois étapes, qui se confondent.
De l’abandon des données
La première étape recouvre la récolte et la conservation de quantités massives d’informations. Ces données sont recueillies par des gouvernements, des entreprises ou des scientifiques. Elles ont entre autres comme finalités de garantir la sécurité, d’optimiser la gestion des ressources, de planifier des opérations marketing, d’individualiser les offres commerciales ou encore de nourrir la production de connaissances. Le stockage d’informations étant défini par défaut, nous laissons constamment en tant qu’utilisateurs des traces de notre activité. Cependant, ces données sont anonymisées et ne représentent que des bribes d’informations. Elles sont « aussi peu intentionnées, tellement matérielles et si peu subjectives » que leur abandon n’est majoritairement pas sujet à des résistances.
C’est d’ailleurs tout l’inverse. Leur apparente banalité contourne notre méfiance. La spécificité que confère l’anonymisation de ces données jugées insignifiantes se manifeste dans la production d’informations entièrement décontextualisées qui ne saisissent pas les individus dans leur totalité. La conséquence étant la fabrication de sujets non identifiés à une enveloppe corporelle, incohérents, dénués de morale ou d’intentions. De simples données statistiques prétendument objectives, constituées de fragments d’existences individuelles dont la complexité est occultée : nos doubles numériques.
Vers la formation de corrélations
La deuxième étape correspond au data mining. Il est défini par le United States General Accounting Office comme « l’application de la technologie et des techniques de base de données, telles que l’analyse statistique et la modélisation, pour découvrir des modèles cachés et des relations subtiles dans les données et pour déduire des règles qui permettent de prédire les résultats futurs ». Il ressort de cette définition un objectif majeur : « Le traitement automatisé de ces quantités massives de données de manière à faire émerger des corrélations subtiles entre celles-ci. » La volonté de supprimer toutes traces d’influence subjective humaine du processus décisionnel est également visible à ce stade. Contrairement aux statistiques traditionnelles, la démarche ne consiste plus à éprouver une hypothèse par sa confrontation aux études. Les hypothèses émanent à l’inverse d’un mécanisme inductif entièrement automatisé.
La gouvernementalité statistique s’appuie donc sur une observation purement quantitative : elle est indifférente aux causes. Elle provoque un changement de paradigme dans la prise de décision : la substitution d’une ère dominée par la causalité en faveur du règne de la corrélation. Le danger ne réside pas dans le recours à la corrélation mais dans sa suffisance, estime Thomas Berns. Une suffisance qui se traduit par une méfiance envers tout ce qui dépasserait de la corrélation. Le chercheur considère qu’elle devrait fonctionner sous la forme d’« invitation à la théorie ». Et non en acter la fin comme l’a sous-entendu Chris Anderson, entrepreneur et journaliste américain, dans un article de Wired en 20083.
Au service de finalités diverses
La dernière étape se rapporte au profilage algorithmique dans le but d’agir sur les comportements. Il est préalablement primordial de distinguer l’information au niveau individuel, le plus souvent observable et perceptible, d’une information produite par le profilage, la plupart du temps inaccessible et imperceptible par les individus mais qui s’applique à eux. L’intérêt de ce second niveau d’information est de dégager un savoir ou des prédictions sur les préférences et intentions inapparentes des sujets. Il s’agirait, par exemple, d’une application de streaming qui vous présenterait des publicités ciblées basées sur une analyse de votre activité en ligne. Le profilage a donc pour effet l’anticipation des comportements individuels fondée sur les corrélations d’informations récoltées pour établir des profils représentatifs d’une parcelle de l’identité des individus.
Cette anticipation a de multiples finalités : la fabrication ou l’imposition d’une réalité ou de désirs, l’optimisation de la situation actuelle, ainsi que l’évitement d’événements jugés indésirables. Pour y parvenir, notre environnement pourrait à l’avenir être aménagé par l’usage de plus en plus massif de capteurs d’informations et d’outils incitatifs ou coercitifs. Procéder ainsi éviterait toutes formes de contraintes perceptibles afin d’agir sur les comportements plus efficacement.
Thomas Berns s’inquiète de l’entame d’une ère rythmée par des répétitions mécaniques. Il souligne la tendance dans la gouvernementalité statistique d’établir des normes immuables, appliquées mécaniquement. Il plaide à l’inverse pour une répétition, propre aux instruments technologiques, contenant de l’altération, du renouveau. C’est en ce sens que leurs travaux développent l’intérêt de créer trois « métadroits ». Parmi eux se trouve le droit à la désobéissance qui permettrait des marges d’expérimentation des normes. En effet, la possibilité d’outrepasser des prescriptions législatives ou réglementaires conserverait leur mise en débat devant les instances compétentes.
Une objectivité mise en doute
La remise en cause des normes émanant du processus décrit précédemment est un enjeu majeur. La volonté incessante de réduire l’influence de la subjectivité humaine renforce l’illusion d’une objectivité et d’une neutralité infaillibles. Néanmoins, ce sentiment ne résiste pas à l’épreuve du réel. De nombreuses études démontrent la perméabilité des algorithmes aux inégalités sociales qui peuvent s’en trouver accrues. C’est le cas de l’outil d’aide à la réussite employé par les autorités néerlandaises dans l’affaire des allocations, discriminant une partie de la population. Identique dans son caractère discriminant fondé sur un profilage ethnique, l’outil de justice prédictive COMPAS, utilisé dans les cours et tribunaux américains, expose les limites actuelles de cette technologie. Il permet l’évaluation du risque de récidive d’un détenu en demande de liberté conditionnelle. Les candidats à une libération anticipée sont notés de 1 à 10, la note maximale correspondant à une probabilité très importante. Il s’est avéré que le logiciel évaluait deux fois plus le risque de récidive dans la population afro-américaine. En ne se basant que sur un système corollaire, les algorithmes décontextualisent les informations et deviennent les réceptacles des inégalités sociales qu’elles exaspèrent.
Colonisant les lieux de prise de décision en y métamorphosant les modes, les algorithmes statistiques, intelligents ou non, s’imposent de plus en plus dans de nombreux domaines comme des outils incontournables.
© Shutterstock
En outre, les résultats sont aussi mitigés. Une étude évaluant l’efficacité du programme COMPAS en a dévoilé les faibles résultats : 20 % pour les crimes violents et près de 60 % pour les délits mineurs. Autant jeter une pièce en l’air. Pourtant, l’illusion ne s’ébranle pas. Au contraire, le recours à ces pratiques ne cesse de se propager et nul ne semble être en mesure d’arrêter leur ascension. L’illusion s’explique, selon Thomas Berns, d’une part par leur efficacité politique : l’usage de ces outils constitue une nouvelle manière d’orienter les gouvernements, d’autant plus que dans plusieurs secteurs, les résultats paraissent plus encourageants. Là où pèche cette technologie, c’est dans sa capacité à refléter fidèlement la réalité. Et d’autre part, par la difficulté de lutter contre le concept de bon sens auquel est assimilé le recours aux algorithmes. L’idée selon laquelle les données récoltées devraient forcément refléter la réalité est tenace.
Une question de gouvernance
Ainsi nous entrons dans une ère de la « surgouvernance » : toujours plus de segments de nos vies sont soumis à de la régulation. En réponse à cette hypertrophie normative, on assiste à une surenchère des garanties de protection de la vie privée. Cela étant couplé au processus d’individualisation de l’expérience, on observe le développement d’une segmentation du débat public. On peut citer à ce sujet le phénomène des bulles de filtres sur les réseaux sociaux qui, via les algorithmes, opèrent un filtrage d’informations isolant intellectuellement les utilisateurs, confrontés qu’à des contenus renforçant leurs convictions. Une diminution du commun qui rend difficile la remise en question de ce modèle émergeant. Pourtant, la problématique de la création de sujets à la hauteur de cette nouvelle gouvernementalité n’a jamais été autant d’actualité. Les standards auxquels nous nous référons n’étant plus adaptés aux mutations des rationalités de gouvernance.
- Antoinette Rouvroy et Thomas Berns, « Gouvernementalité algorithmique et perspectives d’émancipation », dans Réseaux, no 177, 2013, pp. 163-196.
- « Les big data | Antoinette Rouvroy », conférence en ligne diffusée sur la chaîne YouTube PointCulture TV, 17 février 2016.
- Chris Anderson, « The end of theory: The data deluge makes the scientific method obsolete », dans Wired, no 6, 2008.
Partager cette page sur :