Le groupe militant Extinction Rebellion a remarquablement réussi à sensibiliser le public aux crises écologique et climatique, surtout si l’on considère qu’il n’a été créé qu’en 2018.
La terrible vérité, cependant, est que le changement climatique n’est pas la seule catastrophe mondiale à laquelle l’humanité est confrontée au cours de ce siècle. La biologie synthétique pourrait permettre de créer des agents pathogènes de conception bien plus mortels que le COVID-19, les armes nucléaires continuent de jeter une ombre sur la civilisation mondiale et les nanotechnologies avancées pourraient déclencher des courses aux armements, déstabiliser les sociétés et “permettre de nouveaux types d’armements puissants.”
Une autre menace sérieuse provient de l’intelligence artificielle, ou IA. À court terme, les systèmes d’IA comme ceux vendus par IBM, Microsoft, Amazon et d’autres géants de la technologie pourraient exacerber les inégalités dues aux préjugés sexistes et raciaux. Selon un article coécrit par Timnit Gebru, l’ancien employé de Google qui a été licencié “après avoir critiqué son approche de l’embauche des minorités et les préjugés intégrés dans les systèmes d’intelligence artificielle actuels”, les logiciels de reconnaissance faciale sont “moins précis pour identifier les femmes et les personnes de couleur, ce qui signifie que leur utilisation peut finir par les discriminer”. Il s’agit de problèmes très réels qui touchent de grands groupes de personnes et qui nécessitent une attention urgente.
Mais il existe également des risques à plus long terme, découlant de la possibilité d’algorithmes qui dépassent les niveaux humains d’intelligence générale. Un site superintelligence artificielleou ASI, serait par définition plus intelligente que tout être humain possible dans tous les domaines cognitifs d’intérêt, tels que le raisonnement abstrait, la mémoire de travail, la vitesse de traitement, etc. Bien qu’il n’y ait pas de saut évident entre les algorithmes actuels d'”apprentissage profond” et l’ASI, il y a de bonnes raisons de penser que la création d’une ASI n’est pas une question d’intelligence artificielle. si mais quand: Tôt ou tard, les scientifiques découvriront comment construire une ASI, ou comment construire un système d’IA capable de construire une ASI, peut-être en modifiant son propre code.
Lorsque nous y parviendrons, ce sera l’événement le plus important de l’histoire de l’humanité : Soudain, pour la première fois, l’humanité sera rejointe par un agent de résolution de problèmes plus intelligent qu’elle. Que se passerait-il ? Le paradis s’ensuivrait-il ? Ou l’ASI nous détruirait-elle rapidement ?
Même une faible probabilité que la superintelligence des machines conduise à une “catastrophe existentielle” présente un risque inacceptable – non seulement pour les humains mais aussi pour notre planète entière.
Je crois que nous devrions prendre très au sérieux les arguments expliquant pourquoi ” une issue par défaut plausible de la création de la superintelligence des machines est une catastrophe existentielle “. Même si la probabilité que de tels arguments soient corrects est faible, une risque est classiquement défini comme la probabilité d’un événement multiplié par ses conséquences. Et comme les conséquences de l’annihilation totale seraient énormes, même une faible probabilité (multipliée par cette conséquence) donnerait un risque très élevé.
De plus, les mêmes arguments qui expliquent pourquoi un ASI pourrait causer l’extinction de l’espèce humaine sont valables. notre espèces aussi conduire à la conclusion qu’il pourrait effacer l’ensemble de l’humanité. biosphère. Fondamentalement, le risque posé par la superintelligence artificielle est une .risque environnemental. Il ne s’agit pas seulement de savoir si l’humanité survit ou non, mais d’un risque environnemental.environnement C’est pourquoi j’ai appelé à la formation d’un mouvement de type Rébellion de l’extinction autour des dangers de l’ASI – une menace qui, comme le changement climatique, pourrait potentiellement nuire à toutes les créatures de la planète.
Bien que personne ne sache avec certitude quand nous parviendrons à construire des bâtiments de ce type, il n’y a pas d’autre solution. une ASI, une enquête menée auprès d’experts a révélé une probabilité de 50 % d’une “intelligence artificielle de niveau humain” d’ici 2040 et une probabilité de 90 % d’ici 2075. Une intelligence artificielle de niveau humain, ou intelligence générale artificielleet le pas de l’une à l’autre pourrait être très petit, puisque tout système suffisamment intelligent se rendra rapidement compte que l’amélioration de ses propres capacités de résolution de problèmes l’aidera à atteindre un large éventail de “buts finaux”, ou les buts qu’il “veut” finalement atteindre (dans le même sens que le correcteur orthographique “veut” corriger les mots mal orthographiés).
En outre, une étude de 2020 rapporte qu’au moins 72 projets de recherche dans le monde entier travaillent actuellement, et de manière explicite, à la création d’une IAO. Certains de ces projets sont tout aussi explicites sur le fait qu’ils ne prennent pas au sérieux les menaces potentielles posées par l’AGI.ASI. Par exemple, une société appelée 2AI, qui gère le projet Victor, écrit sur son site web :
On parle beaucoup ces derniers temps du danger qu’il y aurait à lâcher une véritable IA dans le monde. Un programme qui pense par lui-même pourrait devenir obsédé par sa propre préservation et, dans sa sagesse, conclure que la meilleure façon de se sauver est de détruire la civilisation telle que nous la connaissons. Inondera-t-il Internet de virus et effacera-t-il nos données ? Va-t-il faire s’effondrer les marchés financiers mondiaux et vider nos comptes en banque ? Créera-t-elle des robots qui asserviront toute l’humanité ? Déclenchera-t-il une guerre thermonucléaire mondiale ? … Nous pensons que ce ne sont que des paroles en l’air.
Mais est-ce du baratin ? A mon avis, la réponse est non. Les arguments expliquant pourquoi l’ASI pourrait dévaster la biosphère et détruire l’humanité, qui sont essentiellement philosophiques, sont compliqués et comportent de nombreux éléments mobiles. Mais la conclusion centrale est que la plus grande inquiétude, et de loin, est la suivante conséquences involontaires de l’ASI s’efforçant d’atteindre ses objectifs finaux. De nombreuses technologies ont des conséquences involontaires et, en effet, le changement climatique anthropique est une conséquence involontaire de la combustion de combustibles fossiles par un grand nombre de personnes. (Au départ, le passage de l’utilisation de chevaux à l’utilisation d’automobiles propulsées par des moteurs à combustion interne a été salué comme un progrès de l’humanité). solution au problème de la pollution urbaine).
La plupart des nouvelles technologies ont des conséquences involontaires, et l’ASI serait la technologie la plus puissante jamais créée, donc nous devons nous attendre à ce que ses conséquences involontaires potentielles soient massivement perturbatrices.
Une ASI serait la technologie la plus puissante jamais créée, et pour cette raison, nous devrions nous attendre à ce que ses conséquences involontaires potentielles soient encore plus perturbatrices que celles des technologies passées. De plus, contrairement à toutes les technologies passées, l’ASI serait une technologie de pointe. entièrement autonome entièrement autonome, dont les actions sont déterminées par une capacité surhumaine à trouver des moyens efficaces pour parvenir à ses fins, ainsi qu’une capacité à traiter l’information plusieurs ordres de grandeur plus rapidement que nous.
Considérez qu’un ASI “pensant” un million de fois plus vite que nous verrait le monde se dérouler dans un mouvement super-duper-lent. Pour nous, une seule minute correspondrait à peu près à deux ans pour lui. Pour mettre cela en perspective, il faut à un étudiant américain moyen 8,2 ans pour obtenir un doctorat, ce qui correspond à seulement 4,3 minutes en temps ASI. Pendant la période nécessaire à un humain pour obtenir un doctorat, l’ASI aurait pu obtenir environ 1 002 306 doctorats.
C’est pourquoi l’idée que nous pourrions simplement débrancher une ASI rebelle si elle se comportait de manière inattendue n’est pas convaincante : Le temps qu’il faudrait pour atteindre la prise donnerait à l’ASI, avec sa capacité supérieure à résoudre les problèmes, âges de trouver un moyen de nous empêcher de l’éteindre. Peut-être qu’elle se connecte rapidement à l’Internet, ou qu’elle déplace des électrons dans son matériel pour influencer les technologies à proximité. Qui sait ? Peut-être ne sommes-nous même pas assez intelligents pour imaginer toutes les façons dont il pourrait nous empêcher de l’éteindre.
Mais pourquoi voudrait-il nous empêcher de faire cela ? L’idée est simple : Si vous donnez à un algorithme une tâche – un but final – et si cet algorithme a une intelligence générale, comme nous, il réalisera, après un moment de réflexion, que l’une des façons dont il pourrait échouer à atteindre son but est d’être arrêté. L’auto-préservationest donc un sous-objectif prévisible que les systèmes suffisamment intelligents devront atteindre. automatiquement automatiquement simplement en raisonnant à travers les façons dont il pourrait échouer.
Que faire, alors, si nous sommes incapables de l’arrêter ? Imaginez que nous donnions à l’ASI le seul but d’établir la paix mondiale. Que pourrait-elle faire ? Peut-être qu’il lancerait immédiatement toutes les armes nucléaires du monde pour détruire la biosphère entière, en raisonnant – logiquement, vous devriez dire – que s’il n’y a plus de biosphère, il n’y aura plus d’humains, et s’il n’y a plus d’humains, alors il ne peut plus y avoir de guerre – et ce que nous… a dit à de faire était précisément cela, même si ce que nous voulait faire qu’elle fasse autre chose.
Heureusement, il y a une solution facile : Il suffit d’ajouter une restriction au système de but de l’ASI qui dit, “N’établissez pas la paix mondiale en détruisant toute vie sur la planète.” Maintenant, qu’est-ce que ça ferait ? Eh bien, comment un agent à l’esprit littéral pourrait-il établir la paix dans le monde ? Peut-être qu’il placerait chaque être humain en animation suspendue, ou nous lobotomiserait tous, ou utiliserait des technologies invasives de contrôle mental pour contrôler nos comportements.
Encore une fois, il y a une solution facile : Il suffit d’ajouter plus restrictions au système de buts de l’ASI. Le but de cetteL’exercice, cependant, est qu’en utilisant nos capacités purement humaines, beaucoup d’entre nous peuvent percer des trous dans à peu près n’importe quel ensemble de restrictions proposées, ce qui aboutit à chaque fois à… de plus en plus restrictions devant être ajoutées. Et nous pouvons continuer ainsi indéfiniment, sans fin en vue.
Par conséquent, étant donné l’apparente interminabilité de cet exercice, une question décourageante se pose : Comment pouvons-nous être sûrs que nous sommes arrivés à une liste complète et exhaustive de buts et de restrictions qui… garantissent que l’ASI ne fera pas par inadvertance quelque chose qui nous détruira, nous et l’environnement ? L’ASI pense un million de fois plus vite que nous. Elle pourrait rapidement avoir accès et contrôler l’économie, les équipements de laboratoire et les technologies militaires. Et pour n’importe quel objectif final que nous lui donnons, l’ASI en viendra automatiquement à considérer l’auto-préservation comme un élément crucial de son développement. sous-objectif instrumental.
Comment pouvons-nous établir une liste de buts et de restrictions qui garantissent que l’ASI ne fera pas quelque chose qui nous détruira, nous et l’environnement ? On ne peut pas.
Pourtant, l’auto-préservation n’est pas le seul sous-objectif. l’acquisition de ressources. Pour faire des choses, pour que les choses se produisent, on a besoin de ressources – et généralement, plus on a de ressources, mieux c’est. Le problème est que, sans donner à l’ASI toutes les restrictions nécessaires, il existe un nombre apparemment infini de façons dont elle pourrait acquérir des ressources qui nous causeraient du tort, à nous ou à nos semblables. Programmez-le pour guérir le cancer : Il convertit immédiatement la planète entière en laboratoires de recherche sur le cancer. Programmez-le pour résoudre l’hypothèse de Riemann : Il convertit immédiatement la planète entière en un ordinateur géant. Le programmer pour maximiser le nombre de trombones dans l’univers (un exemple volontairement stupide) : Il convertit immédiatement tout ce qu’il peut en trombones, lance des vaisseaux spatiaux, construit des usines sur d’autres planètes – et peut-être, dans le processus, s’il y a d’autres formes de vie dans l’univers, détruit-il aussi ces créatures.
On ne saurait trop insister sur le fait qu’une ASI serait un… extrêmement puissant technologie. Et qui dit puissance dit danger. Bien qu’Elon Musk ait très souvent tort, il avait raison lorsqu’il… a tweeté que l’intelligence artificielle avancée pourrait être “plus dangereuse que les armes nucléaires”. Les dangers posés par cette technologie ne se limiteraient toutefois pas à l’humanité ; ils mettraient en péril l’ensemble de l’environnement.
C’est pourquoi nous avons besoin, dès maintenant, dans les rues, en faisant pression sur le gouvernement, en tirant la sonnette d’alarme, d’un mouvement de type Extinction Rebellion axé sur l’ASI. C’est pourquoi je suis sur le point de lancer la Campagne contre l’IA avancéequi s’efforcera d’éduquer le public sur les risques immenses de l’IAE et de convaincre nos dirigeants politiques qu’ils doivent prendre en compte cette menace, au même titre que le changement climatique, très sérieusement.
Un mouvement de ce type pourrait adopter l’une des deux stratégies suivantes. Une stratégie “faible” consisterait à convaincre les gouvernements – tous les gouvernements du monde – d’imposer des réglementations strictes aux projets de recherche visant à créer l’AGI. Des entreprises comme 2AI ne devraient pas être autorisées à adopter une attitude insouciante à l’égard d’une technologie potentiellement transformatrice comme l’AGI.
Une stratégie “forte” viserait à stopper toute recherche en cours visant à créer l’AGI. Dans son article de 2000 intitulé “Why the Future Doesn’t Need Us”, Bill Joy, cofondateur de Sun Microsystems, soutient que certains domaines de la connaissance scientifique sont tout simplement trop dangereux pour que nous les explorions. Selon lui, nous devrions donc imposer des moratoires sur ces domaines, en faisant tout ce qui est en notre pouvoir pour empêcher l’acquisition des connaissances pertinentes. Toutes les connaissances ne sont pas bonnes. Certaines connaissances présentent des “dangers pour l’information” – et une fois que le génie de la connaissance est sorti de la lampe, il ne peut plus y être remis.
Bien que je sois très favorable à la stratégie forte, je ne m’y engage pas. Plus que tout, il faut souligner que presque aucune recherche soutenue et systématique n’a été menée sur la meilleure façon d’empêcher le développement de certaines technologies. L’un des objectifs de la Campagne contre l’IA avancée serait de financer une telle recherche, de trouver des moyens responsables et éthiques d’empêcher une catastrophe de l’IAE en freinant la recherche actuelle. Nous devons nous assurer que les algorithmes superintelligents sont sans danger pour l’environnement.
Si les experts ont raison, une ASI pourrait faire ses débuts au cours de notre vie, ou de celle de nos enfants. Mais même si l’ASI est loin – ou même s’il s’avère impossible de la créer, ce qui est une possibilité – nous n’en sommes pas certains, d’où l’importance de l’ASI. risque posé par l’ASI peut encore être énorme, peut-être comparable à oudépassant les risques du changement climatique (qui sont énormes). C’est pourquoi nous devons nous rebeller – pas plus tard, mais maintenant.
