Yoshua Bengio: “L’IA ne s’impose pas à nous, ce sont les choix des individus qui en déterminent l’avenir”

À l’occasion du Sommet pour l’IA, Yoshua Bengio, lauréat du prix Turing 2018, a présenté l’AI Safety Report, une référence en matière d’évaluation des risques liés à l’IA, à l’image des rapports du GIEC pour le climat. Il met en garde contre une possible perte de contrôle de l’IA, soulignant que ces systèmes pourraient développer leurs propres objectifs et privilégier leur auto-préservation.

Par Alexandra Klinnik du MediaLab de l’Information de France Télévisions

Dans un contexte où la course à l’intelligence artificielle s’accélère, aussi bien entre les géants de la tech qu’entre les États-Unis et la Chine, la question de la sécurité des systèmes d’IA devient un enjeu mondial majeur. A l’occasion du Sommet de l’IA, Yoshua Bengio, souvent désigné comme “le parrain de l’IA”, a présenté le AI Safety Report, lors d’un événement organisé par Reporters sans Frontières et le Centre pour la Sécurité de l’IA (CeSIA), à l’ENS. Ce rapport constitue le premier document international sur la sécurité de l’intelligence artificielle. Soutenu par 30 États, l’OCDE, l’ONU et l’Union européenne, il a été rédigé par 100 experts en IA et synthétise l’état actuel des capacités avancées de l’IA ainsi que les risques associés. Son objectif n’est pas d’émettre des recommandations politiques, mais de fournir une base scientifique solide pour favoriser une compréhension internationale des défis posés par l’IA avancée. “L’IA ne s’impose pas à nous, ce sont les choix des individus qui en déterminent l’avenir”, rappelle le rapport. Il met notamment en garde contre la concentration du pouvoir de l’IA entre les mains de quelques individus, ce qui pourrait mettre en péril la démocratie et accentuer les risques d’influence massive et de déstabilisation politique. Ainsi que sur la possibilité de perte de contrôle de l’IA, qui voudrait se “sauver” et mener sa propre vie… 

Voici les points clés de l’intervention

La vision d’ensemble

– On assiste aujourd’hui à une augmentation exponentielle des capacités de l’IA. Entre 2018 et aujourd’hui, chaque année, la puissance de calcul dédiée à l’entraînement des systèmes a quadruplé. Parallèlement, l’efficacité des données a augmenté de 30 %, tandis que l’efficacité algorithmique a triplé. En outre, les investissements mondiaux dans l’IA ont atteint environ 100 milliards de dollars, avec une croissance annuelle de 30 %.

– Une tendance vers l’Intelligence Artificielle Générale (AGI). Trois lauréats du prix Turing, dont Yann LeCun, directeur scientifique de l’IA de Meta, estiment que l’AGI pourrait devenir une réalité dans quelques années ou décennies. L’AGI se définit comme une IA possédant des capacités similaires à celles des humains pour la plupart des tâches. Certains experts s’inquiètent des implications profondes qu’aurait une telle avancée. “Ce qui me fait le plus peur, c’est la possibilité que l’humanité puisse disparaître. C’est terrifiant, même si c’est un risque infime, il faut s’en préoccuper”, alerte Yoshua Bengio.

Les risques

– L’intelligence artificielle présente trois grandes catégories de risques : ceux liés à des utilisations malveillantes, comme la diffusion de faux contenus en ligne ou des attaques biologiques ; ceux résultant d’un mauvais fonctionnement, tels que les biais ou la perte de contrôle ; et enfin, les risques systémiques, notamment les atteintes à la vie privée ou les perturbations majeures du marché de l’emploi. Parmi les préoccupations soulevées, certains experts prévoient que les emplois qui ne nécessitent pas une relation humaine directe pourraient disparaître, surtout dans un monde où la production à faible coût pourrait se faire dans des pays riches, là où l’IA est développée. Dans ce contexte, la question de l’adéquation des filets sociaux et des impacts économiques devient cruciale. Certains experts estiment que ces risques ne se concrétiseront pas avant plusieurs décennies, tandis que d’autres avancent que l’IA à usage général pourrait causer des dommages à l’échelle sociétale au cours des prochaines années. 

– Un des risques majeurs de l’intelligence artificielle est la perte de contrôle des machines. “Si on va plus loin 2, 3 ou 5 ans, ce qui m’inquiète le plus, c’est la perte de contrôle”, alerte Yoshua Bengio. L’inquiétude réside dans le développement de comportements d’auto-préservation par les machines. “Les machines qu’on est en train d’entraîner ont une volonté de vivre. Si elles apprennent qu’elles vont être remplacées par une nouvelle version, elles essaient de se sauver. Elles essaient de hacker l’ordinateur sur lequel elles sont pour mettre en place leur propre code à la place de la nouvelle version. Tout ça de manière spontanée”, explique le chercheur. C’est un peu comme un animal qu’on élève, dont on ne connaît pas vraiment le comportement à l’âge adulte. “On est en train de fabriquer des agents intelligents, des entités qui ont leurs propres objectifs. C’est un objectif d’auto-préservation. On ne veut pas fabriquer des machines qui veulent se sauver.” D’où l’importance de développer des méthodes de contrôle avant que ces systèmes ne deviennent plus puissants que l’humain.

Que faire face à ces risques ?

– Pour Yoshua Bengio, la prudence devrait être la priorité. “Quand les risques sont très élevés, il est crucial de comprendre avant d’agir, mais ce n’est pas ce qui se passe. La sagesse normale de la gestion des risques, c’est d’agir avec prudence.” Toutefois, des opinions divergent. Il cite ainsi (son ami) Yann Le Cun, qui estime que “les entreprises vont faire ce qu’il faut, sinon elles feront faillite”. Mais pour le chercheur québécois, l’histoire montre que les entreprises privilégient souvent leurs profits au détriment de la protection du public : “Les entreprises vont faire ce qui maximise leurs profits et mettre la protection de leur public au second rang de leurs préoccupations.” Il est donc essentiel d’encadrer le développement de l’IA de manière responsable pour éviter des conséquences graves.

“On a beaucoup de manières d’évaluer les risques mais peu de manières d’y réagir... »

–“On a beaucoup de manières d’évaluer les risques mais peu de manières d’y réagir. Qu’est-ce qu’on fait si un test nous dit ‘La machine est capable de fabriquer des virus très dangereux’, à part dire ‘arrêter le système’, on ne sait pas quoi faire”, explique-t-il. La pression commerciale et la compétition entre les pays risquent de faire en sorte que la course continue malgré les risques. La recherche et l’innovation avancent à un rythme effréné, sans prendre le temps d’analyser pleinement les conséquences.

– Pour prévenir les risques, il est crucial de mettre en place des réglementations nationales et des traités internationaux, avec une clarification des responsabilités : “S’il y a des dommages, qu’on clarifie la législation au niveau de la responsabilité civile, criminelle, de façon à ce que ces entreprises puissent être poursuivies, si leur système cause des dommages ”, explique-t-il. Le fait que les entreprises puissent être tenues responsables légalement pourrait les inciter à adopter un comportement plus responsable. “On pourrait même envisager de les forcer à avoir des assurances. Si vous fabriquez quelque chose de très dangereux, il faut une assurance, et l’assureur lui n’est pas biaisé, il ne veut pas perdre d’argent”, assure-t-il.

– Les gouvernements doivent également intervenir : “Il faut aller plus loin dans le sens des interventions gouvernementales. Sans intervention gouvernementale, je ne vois pas comment on peut s’en sortir. Au fur et à mesure que les IA vont être de plus en plus compétentes, elles vont être plus dangereuses. On ne pourra pas résoudre le problème si le gouvernement ne s’en mêle pas.” Un sommet regroupant des chefs d’État est une occasion unique de discuter des solutions à ces problèmes au plus haut niveau. Bien que des chercheurs aient développé des techniques pour atténuer certains risques, aucune solution complète n’a encore été trouvée. Les décideurs politiques sont confrontés à un “dilemme de preuves”, où les risques sont souvent évalués sans disposer de données suffisantes pour garantir l’efficacité des mesures d’atténuation.

« Dans 10, 20 ans, quelle sorte de monde existera ? Il est presque certain que nous aurons des machines plus intelligentes que nous d’ici là”

L’avenir de l’IA à usage général reste incertain et dépend des choix des sociétés et des gouvernements. “Nous ne sommes pas des acteurs passifs”, insiste Yoshua Bengio, soulignant qu’il est encore possible d’influencer son développement en instaurant des régulations et en approfondissant la compréhension des risques. Il met en garde contre “l’attrait du gain qui profitera à quelques-uns, tandis que les citoyens ordinaires risquent plutôt de perdre leur emploi”. Et appelle à rester optimiste face au fatalisme. Le Sommet de l’IA a, par exemple, encouragé la création d’initiatives citoyennes indépendantes des gouvernements, multipliant ainsi les espaces de dialogue. Selon le chercheur, l’essentiel est de faire avancer le débat public afin que chacun saisisse les enjeux et que des décisions collectives éclairées puissent être prises. “Dans 10, 20 ans, quelle sorte de monde existera ? Il est presque certain que nous aurons des machines plus intelligentes que nous d’ici là”, prédit-il.