Par Gautier Roos, France Télévisions, Direction de la Prospective

Surveillance, robotisation, filtres idéologiques, droit à l'oubli : les algorithmes et l'intelligence artificielle redéfinissent en profondeur notre rapport à la démocratie. Quelles actions engager pour préserver nos libertés, à l'heure où les outils de contrôle et les leviers d'influence deviennent l'apanage de quelques acteurs, pas forcément bien intentionnés ?

Cette fastidieuse question est posée dans un long article paru dans Scientific American, le plus vieux magazine scientifique des Etats-Unis, écrit par des sommités américaines et européennes de l'intelligence artificielle, de l'informatique, de l'économie et du droit, en détaillant diagnostics et pistes de solutions imaginés par eux.

On peut le déplorer, mais c'est un fait impossible à contester : nous allons devoir vivre avec des machines et des algorithmes qui surpasseront vite nos capacités cognitives (si ce n'est pas déjà le cas), et qui seront présents dans absolument tous les secteurs.

Le nombre de données que nous fabriquons chaque jour double déjà chaque année : en 2016, nous avons produit autant de data que toute l'histoire de l'humanité jusqu'à 2015.

D'autres estimations donnent le tournis : il est établi que dans 10 ans, la planète sera équipée de 150 milliards de capteurs connectés, soit 20 fois plus que le nombre d'habitants peuplant la Terre. A ce moment précis, le volume de données doublera… toutes les douze heures !

Aujourd'hui, l'intelligence artificielle est déjà en voie d'autonomisation : elle n'est plus programmée ligne par ligne, elle est désormais capable d'apprendre. Pour prendre un exemple récent, l'algorithme DeepMind de Google a littéralement "auto-appris" comment remporter 49 parties d'Atari. En constant développement, les algorithmes contrôlent désormais 70% des transactions financières, et on imagine mal comment la tendance pourrait s'inverser.

Si vous jugez le monde d'aujourd'hui instable, que direz-vous dans dix ans, quand 40% des 500 plus grosses entreprises mondiales auront tout bonnement disparu ?! Nos emplois subiront eux aussi de plein fouet la révolution algorithmique (l'automatisation menacera d'ici 20 ans la moitié de nos métiers), nous libérant à la fois des tâches ingrates et des missions moins besogneuses.

Pris comme ça, le tableau peut sembler désespérant : même les magnats des nouvelles technologies (Elon Musk, Bill Gates, Steve Wozniak) tirent la sonnette d'alarme, alors même que leur fortune s'est constituée en grande partie sur ce nouveau paradigme numérique.

Cauchemar impossible à enrayer ?

Nous sommes aujourd'hui à la croisée des chemins : sans une volonté politique forte, et sans l'envie de remodeler les droits du citoyen à l'heure numérique, les promesses de la Silicon Valley se transformeront vite en un cauchemar impossible à enrayer.

L'espoir réside donc dans le fait que des projets collectifs, impliquant la concertation et la protection de tous les citoyens, commencent déjà à émerger. Nous ne sommes qu'au début de cette révolution numérique : si pour l'instant, seuls quelques acteurs ont réussi à mettre la main sur nos informations personnelles et bouleversé de fond en comble l'économie, rien ne dit que les gouvernements, la justice et les citoyens ne pourront s'accorder pour façonner un contre-pouvoir nécessaire et dans l'intérêt de tous.

Aucune révolution ne s'est faite sans heurts : l'occasion nous est aujourd'hui donnée de formuler un nouveau contrat social à l'ère du numérique, basé sur la confiance et la coopération. Loin d'être des hypothèses fantaisistes, de nombreux dangers nous guettent : une ère de surveillance généralisée, qui pourrait s'exprimer de façon autoritaire (Big Brother) ou d'une manière plus douce (nudging, persuasive computing), ainsi qu'une confiscation oligopolistique des ressources par quelques firmes seulement. Le risque est qu'à terme, les machines ne soient plus les seules à être programmées, mais que les humains y passent eux aussi...

Score de confiance et big nudging : quand faire le bien risque de mener au pire

Le concept du Citizen Score, testé en ce moment en Chine, donne logiquement matière à inquiétude, et prouve que les solutions collectives viables ne se feront pas en un coup de baguette magique. A mi-chemin entre 1984 et un épisode prophétique de Black Mirror, le concept repose sur l'agrégation des données récoltées sur chaque individu pour lui attribuer un "score général de confiance". Une sorte de cote de solvabilité qui détermine, en plus de l'accès aux crédits, le droit à la sécurité sociale, à certains métiers, à un visa vers les pays extérieurs...

Un outil de contrôle social imaginé par le Parti communiste chinois, digne des pires scénarios de science-fiction, qui "fiche" l'individu dans le moindre de ses actes et qui l'invite même à réévaluer ses fréquentations (même le comportement de vos amis peut influer sur votre score). Le Parti espère en fait éliminer tous les obstacles pour accéder au partage des données recueillies par les administrations, les entreprises, les organisations et les collectivités.

Un programme aux accents totalitaires (le mot n'est pas usurpé ici) qui pourrait être effectif dès 2020, et qui vise officiellement à lutter contre la corruption. Et un exemple qui montre la difficulté qui attend les démocraties soucieuses de régulation numérique, puisqu'un Etat connaissant tout de nous semble tout aussi dangereux qu'un conglomérat de quelques acteurs privés omniscients.

A côté de cet arsenal autoritaire préoccupant, quelques tentatives plus souples, mais loin d'être plus rassurantes. Le nudging, méthode douce qui donne curieusement un second souffle aux sociétés paternalistes, consiste à inciter discrètement quelqu’un à entreprendre une action en modifiant l’ordre ou l'architecture des choix proposés. L'idée est de lui faire préférer une option jugée de l’extérieur comme plus souhaitable, bénéfique pour lui-même (être en bonne santé par exemple) comme pour la société dans son ensemble (réduire les coûts de santé).

Evidemment, le danger intervient quand ces petites poussées discrètes tombent entre les mains des marques, des assureurs ou des partis politiques (on parle déjà de "big nudging", contraction du nudging et du big data). La pratique risque de nous inciter à acheter des produits inutiles ou à un prix excessivement cher, ou de favoriser insidieusement tel candidat "qui nous veut du bien" lors des échéances électorales. Le risque est d'autant plus accru dans les pays où la première page de résultats affichés par Google capte 90% des clics (dont la moitié vers les deux premiers résultats).

Un système de récompense se met là aussi en place : dans le secteur de l'assurance, nombreuses sont les entreprises qui fournissent gratuitement des bracelets électroniques pour accéder aux données de leur clientèle, et qui leur proposent, en échange de comportements vertueux, des réductions tarifaires… Même avec les meilleures intentions, voulons-nous vraiment d'une société où les individus sont aussi conditionnés et déterminés pour se faire du bien ?

On assiste à un nouveau type d'"hygiénisme punitif", pour reprendre l'expression du journaliste Philippe Vion-Dury dans son ouvrage La nouvelle servitude volontaire, enquête sur le projet politique de la Silicon Valley (éd. FYP), qui n'a plus rien à voir avec l'idéal d'émancipation hérité des Lumières. Plus nocif et sournois encore que George Orwell : Aldous Huxley…

De nouveaux droits numériques...et de nouveaux devoirs

Dans un monde où la donnée est devenue plus précieuse encore que le pétrole, le citoyen doit reprendre la main sur les multinationales, qu'il rémunère en fin de compte chaque jour grâce à ses données personnelles.

Une façon de protéger les internautes européens serait de leur permettre d'accéder à l'ensemble des données les concernant ("Right to a Copy") : la Suisse, pays du secret défense par excellence, a déjà proposé d'entériner ce droit dans la constitution. A l'inverse, les organismes qui exploitent de la data sans y être autorisés doivent être sévèrement punis par la loi.

La "fraude algorithmique", prisée par les constructeurs allemands qui réussissent à truquer facilement les tests anti-pollution effectués sur leurs voitures (Volkswagen est loin d'être un cas isolé), doit ouvrir la voie à de nouveaux standards éthiques en matière de technologie.

De même, les utilisateurs ne sont pas exempts de tout reproche, et doivent probablement prendre un peu de recul par rapport à leurs pratiques quotidiennes : nous avons tendance à laisser les programmes informatiques penser à notre place, des séries numéraires et des probabilités se substituant trop souvent au bon vieux jugement humain.

L'article cite l'exemple de l'appli Bébé Connect, un outil de suivi complet consacré au développement des nourrissons, qui compare les faits et gestes des nombreuses progénitures grâce à une base de donnée en temps réel. Pour de nombreux parents, leur bébé est (curieusement) devenu assimilable à une quantité de données abstraites, et la moindre disparité avec l'enfant du voisin génère des inquiétudes disproportionnées.

Les réformes gouvernementales ou extra-européennes ne pourront se faire qu'avec une évolution des mentalités, et une prise de conscience accrue de ces phénomènes.

A ceux qui se demandent si l'école sert encore à quelque chose à l'heure du numérique : voici une réponse toute désignée.