Chris Anderson: Nick Bostrom, vous avez déjà partagé vos idées folles avec nous. Il y a une vingtaine d'années, si je me souviens bien, vous avez suggéré que nous vivrions dans une simulation ou que nous y étions déjà. Et relativement récemment, vous avez présenté l'exemple le plus illustratif de la façon dont l'intelligence artificielle universelle peut nuire. Et déjà cette année, vous allez publier un livre avec les hypothèses les plus vulnérables du monde. Et le numéro d'aujourd'hui devrait en être un guide illustré. Commençons. Quelles sont ces hypothèses?
Nick Bostrom:Il s'agit d'une tentative de comprendre les composantes structurelles de l'état actuel de l'humanité. Vous aimez la métaphore de l'urne, alors je vais l'utiliser. Imaginez une grande urne remplie de boules représentant des idées, des méthodes et toutes sortes de technologies. Toute activité créatrice de l'humanité peut être comparée au fait de plonger dans cette urne et d'en tirer des balles. Et pendant de nombreuses années, nous en avons toujours profité, non? Nous avons supprimé trop de boules blanches, certaines avec des nuances de gris, avec des conséquences ambiguës. Mais nous n'avons pas rencontré de boule noire depuis si longtemps - une technologie qui détruira certainement ses créateurs. Le livre contient des versions de ce qui sera à l'intérieur de la boule noire.
CA: Vous définissez donc cette balle comme la cause de la mort de la civilisation.
NB:Jusqu'à ce que nous sortions de notre état standard de semi-anarchie, comme je l'appelle.
CA: Vous citez plusieurs contre-exemples comme preuve. Vous êtes convaincu que nous avons eu de la chance au fil des ans. Et peut-être que nous, sans le savoir, avons déjà dessiné cette boule de mort. Aussi, vous donnez un devis. Qu'est-ce que ça veut dire?
NB: Cela montre seulement combien il est difficile de prévoir toutes les conséquences des découvertes fondamentales. Nous n'avons pas une telle opportunité. Nous avons bien appris à sortir les balles de l'urne, mais nous ne savons pas comment les rendre. Autrement dit, nous pouvons inventer, mais pas l'inverse. En tant que stratégie, nous avons seulement l'espoir qu'il n'y ait pas de boules noires dans l'urne.
CA: Nous le sortirons un jour et nous ne pourrons pas le récupérer, et vous pensez que nous avons de la chance jusqu'à présent. Veuillez commenter les exemples où vous mentionnez plusieurs types de vulnérabilité.
NB:Le type le plus simple à comprendre est la technologie qui peut causer beaucoup de destructions massives sans trop de difficultés. La biologie synthétique peut être une riche source de boules noires de ce type. Les produits de géo-ingénierie méritent également d'être considérés. Nous pouvons lutter contre le réchauffement climatique, mais nous n'avons pas besoin de nous faciliter la tâche. Il n'est pas nécessaire qu'une personne au hasard et sa grand-mère aient l'opportunité de changer radicalement le climat sur terre. Ou des drones mortels de la taille d'un moustique produits en série pour tuer les ravageurs.Nanotechnologie, intelligence artificielle universelle.
CA: Il y a un doute dans le livre que nous avons eu la chance de découvrir l'énergie nucléaire pour créer une bombe atomique. C'est peut-être le cas lorsqu'il est possible de créer une bombe en utilisant les ressources plus légères disponibles pour tous.
NB:Revenons aux années 30 du XXe siècle, lorsque nous avons fait des progrès en physique nucléaire. Certains scientifiques éminents ont compris comment créer une réaction nucléaire en chaîne et l'ont ensuite amenée à une bombe. Nous avons fait des recherches. Il s'est avéré que pour créer une bombe atomique contenant une énorme quantité d'uranium et de plutonium, qui sont assez difficiles à obtenir, des ultracentrifugeuses sont nécessaires, des réacteurs sont nécessaires, ainsi qu'une grande quantité d'énergie. Nous supposons qu'au contraire, il existe un moyen plus simple de libérer l'énergie de l'atome. Et s'il s'avère possible de provoquer une explosion nucléaire à partir de sable dans un four à micro-ondes ou d'une manière plus simple. Or, cela est impossible du point de vue de la physique. Mais tant que de telles expériences n'auront pas été menées, comment savez-vous ce qui en résultera?
CALIFORNIE:D'accord, pour le développement normal de la vie sur Terre, un environnement stable est nécessaire. Et s'il y avait un moyen plus simple d'obtenir de grandes réactions nucléaires, alors un environnement stable sur Terre n'existerait pas et nous ne serions pas ici.
NB: Oui, s'il y a quelque chose qui a été créé exprès, et pas par lui-même. C'est ainsi que nous faisons beaucoup. Nous pouvons empiler 10 blocs les uns sur les autres, mais ce n'est pas le cas dans la nature.
CA: Parlons maintenant de ce qui nous inquiète le plus. Pour l'instant, d'après ce que nous pouvons prédire, la biologie synthétique est le chemin le plus court vers l'autodestruction.
NB:Et imaginez à quoi cela ressemblerait si vous disiez à quelqu'un qu'il pourrait détruire la ville en cuisinant quelque chose dans la cuisine. Il est difficile d'imaginer comment la civilisation moderne dans sa forme habituelle peut survivre à une telle chose. Parce que parmi toute population de plusieurs millions, il y a ceux qui, pour une raison inconnue, veulent utiliser cette force destructrice. Et si cet amoureux de l'apocalypse choisissait de détruire la ville, ou pire, les villes seraient détruites.
CA: Il existe un autre type de vulnérabilité. Parlez-nous-en, s'il vous plaît.
NB:En plus des boules noires faciles à comprendre qui feront tout exploser sur leur passage, d'autres inciteront les gens à faire de mauvaises choses et à causer du tort. Autrement dit, si vous pensez au soi-disant Type-2a, alors c'est une technologie qui encouragera les grandes puissances mondiales à utiliser toute leur puissance militaire pour la destruction. En fait, les armes nucléaires sont très proches de cela, non? Ce que nous avons fait: Nous avons dépensé plus de 10 billions de dollars pour construire 70 000 ogives nucléaires et nous les maintenons en état d'alerte. Pendant la guerre froide, nous avons été au bord de la destruction mutuelle à plusieurs reprises. Pas parce que les gens pensent que c'est une excellente idée de gaspiller 10 billions de dollars en autodestruction. Cela a été stimulé par le fait que nous ne cherchons que nous-mêmes, et cela pourrait être le pire. Imaginez si le premier coup passait sans trop de conséquences,il serait très difficile de s’abstenir de lancer tous les missiles nucléaires en situation de crise. Sinon, parce que vous avez peur que cela se fasse de l'autre côté.
CA: La destruction mutuelle assurée a maintenu la stabilité pendant la guerre froide. Sinon, nous ne serions pas là.
NB: Oui, cela la rendrait plus instable. Ici, l'autre côté de la technologie pourrait apparaître. Il serait plus difficile de conclure des accords sur les armements si, au lieu des armes nucléaires, il y avait un petit article ou moins visible.
CA: Tout comme les mauvaises motivations des acteurs influents du monde, vous vous inquiétez également des mauvaises motivations de chacun de nous dans le type 2b.
NB:Oui, il vaut mieux prendre le réchauffement climatique comme exemple. Chacun de nous utilise des commodités modernes dans la vie quotidienne, dont l'utilisation n'a pas de conséquences importantes, non? Mais des milliards de personnes font la même chose, ce qui, ensemble, a un effet dévastateur maintenant que le problème du réchauffement climatique pourrait s'aggraver. Il existe un paramètre d'influence sur le climat. Il montre à quel point le réchauffement augmentera lorsqu'une certaine quantité de gaz à effet de serre est émise. Supposons qu'avec la quantité de gaz à effet de serre émise en ce moment, d'ici 2100, au lieu d'une augmentation de température de seulement 3-4,5 degrés, nous serons confrontés à une augmentation de 15 ou même 20 degrés. Autrement dit, nous pouvons nous trouver dans une très mauvaise position. Supposons qu'il soit très difficile de créer une source d'énergie renouvelable ou qu'il y ait plus de combustibles fossiles dans la terre
CA: Êtes-vous en train de dire que si le mode de vie que nous menons aujourd'hui conduit finalement à une différence visible de 10 degrés, alors les gens seraient déjà en train de faire des histoires et de faire quelque chose à ce sujet. Nous pouvons être stupides, mais pas si stupides. Mais qui sait.
NB: je n'en serais pas si sûr.
Considérez également d'autres propriétés. Pour le moment, passer aux énergies renouvelables et autres est difficile, mais possible. Peut-être en utilisant des propriétés physiques légèrement différentes, ce sera beaucoup plus cher.
CA: Quelle est votre opinion? Notre planète, l'humanité avec toutes ses capacités techniques, est-elle dans une position vulnérable? Y a-t-il une boule de mort dans notre avenir?
NB:Dur à dire. Je pense que cette urne est susceptible de contenir une variété de boules noires. Mais il y en aura aussi en or qui nous aideront dans la bataille contre les boules noires. Mais je ne sais pas dans quel ordre ils apparaîtront.
CA: Votre idée contredit légèrement l'idée philosophique selon laquelle l'avenir est prédéterminé et inévitable, quelle que soit la couleur de la prochaine balle, et dans une certaine mesure, je ne veux pas croire en un tel avenir. Je veux croire que l'avenir n'est pas prédéterminé, que les décisions que nous prenons aujourd'hui affecteront la couleur de la balle que nous retirerons.
NB:Je pense que si nous continuons à inventer, nous finirons par retirer toutes les balles. Il existe une forme faible de déterminisme technologique qui a de bonnes raisons, ce qui signifie qu'il est peu probable que vous trouviez une communauté utilisant des axes en silicium et des avions à réaction. La technologie peut être considérée comme un ensemble de capacités. La technologie nous permet de faire différentes choses et d'obtenir des résultats différents dans le monde. Leur utilisation dépend uniquement de notre choix. Mais si vous pensez à ces trois types de vulnérabilité, ils peuvent briser l'idée de les utiliser. Permettez-moi de vous rappeler que le premier type de vulnérabilité est une énorme force destructrice et que l'hypothèse selon laquelle parmi la population de plusieurs millions de personnes, il y a ceux qui veulent l'utiliser pour la destruction est plutôt faible.
CALIFORNIE:Ce qui m'inquiète le plus, c'est la pensée qu'à ce stade, d'une certaine manière, nous nous sommes suffisamment plongés dans cette urne pour nous rendre compte que nous sommes condamnés. Autrement dit, si vous croyez en une augmentation de la puissance, au développement de la technologie, à la création d'une technologie qui nous rendra plus forts, alors à un moment donné, vous arriverez à la conclusion qu'une seule personne peut nous détruire tous. Et dans ce cas, nous avons tous fini. Cela ne vous dérange pas?
NB: Oh, oui,
je crois ... Oui, nous devenons plus forts et il est de plus en plus facile d'utiliser ce pouvoir, mais nous pouvons aussi inventer une technologie qui nous permettra de contrôler l'utilisation de ce pouvoir par le peuple
KA:Discutons-en. Parlons des réponses. Supposons, en pensant à toutes les possibilités que nous avons aujourd'hui, que ce ne soit pas seulement la synbiotechnologie, mais aussi des choses comme la cyberguerre, l'intelligence artificielle, etc. - pour lequel, peut-être, à l'avenir, nous serons confrontés à un sérieux bilan. Quelles seront les réponses? Vous avez également mentionné quatre types de ces réponses.
Limitation des développements
NB:La limitation du développement du progrès technique n'inspire pas d'espoir si nous entendons tous l'arrêt du progrès technique dans son ensemble. Je pense que nous n'avons ni le désir ni la capacité de le faire. Ou peut-être que dans certains domaines seulement vous voulez ralentir le progrès technologique, je pense que vous ne voulez pas le développement rapide des armes biologiques ou la séparation des isotopes, qui faciliteront la création d'armes nucléaires.
CALIFORNIE:Je suis tout à fait d’accord avec vous, mais je voudrais me concentrer là-dessus, premièrement, parce que si vous regardez l’histoire des deux dernières décennies, nous avançons à toute vitesse, c’est bien que ce ne soit que notre choix, mais si vous regardez la mondialisation et sa croissance rapide, à la stratégie de "avancer plus vite et faire tomber les barrières" et à ce qu'elle est devenue, puis au plein potentiel de la biologie synthétique. Je ne sais pas si nous devrions passer aussi rapidement, sans aucune restriction, dans un monde où il y aura une imprimante ADN dans chaque maison et dans le laboratoire du lycée.
NB: Peut-être que la première partie n'est pas la plus appropriée. Si les gens veulent quand même l'arrêter, il y aura des problèmes de mise en œuvre. En fait, il n'en sortira rien si la population d'un pays ...
KA:Pas si un seul peuple agit, mais nous avons déjà conclu des accords internationaux plus tôt. Grâce à cela, nous avons réussi à éliminer la menace nucléaire grâce à des réunions et de longues négociations complexes. Je me demande s'il ne serait pas plus logique pour nous de ne pas venir ici sur une question importante et d'essayer de discuter de règles strictes sur la bio-recherche synthétique. N'est-ce pas ce que vous voulez démocratiser?
NB:Je suis tout à fait d'accord. Par exemple, je voudrais que le synthétiseur d'ADN ne soit pas un appareil qui sera installé dans chaque laboratoire, mais peut-être un service. Disons qu'il n'y a que quatre ou cinq endroits dans le monde où vous pouvez envoyer un échantillon d'ADN électronique et obtenir les résultats. Et puis vous aurez l'opportunité, si nécessaire, d'obtenir un ensemble fini de vulnérabilités. Je pense que vous voudrez connaître les situations spéciales qui peuvent être étroitement contrôlées.
CA: Fondamentalement, votre opinion est que cela ne fonctionnera pas si nous ralentissons simplement les progrès. Quelqu'un, quelque part, disons en Corée du Nord, il y a quelqu'un qui veut obtenir exactement la boule noire de l'urne, s'il y en a une.
NB:Dans l'environnement actuel, c'est probable. Et ce n'est pas une question de biologie synthétique. Tout nouveau changement majeur dans le monde peut se révéler être une boule noire.
CA: Il existe une autre option de développement.
Élimination des personnes dangereuses
NB: Mais la probabilité est plutôt faible. Concernant le premier type de vulnérabilité. S'il était possible de réduire le nombre de personnes intéressées à détruire le monde, si elles avaient accès aux armes et aux fonds, ce serait formidable.
CA: Vous avez demandé cette diapositive, avec des drones de reconnaissance faciale volant à travers le monde. Et quand ils trouvent des gens avec des signes de comportement antisocial, ils les comblent d'amour, «réparent» pour ainsi dire.
NB:Ce n'est pas si simple. La liquidation signifie également, par exemple, l'emprisonnement ou la destruction, ou changer leur vision de la vie en une vision plus correcte. Le fait est que, par exemple, vous avez fait face à la tâche, réduit de moitié le nombre de personnes dangereuses. Si vous effectuez une liquidation par persuasion, vous rencontrerez d'autres facteurs puissants qui affectent les gens: les partis, la religion, l'éducation. Si le nombre de personnes dangereuses est réduit de moitié. Il me semble que le risque diminuera non pas de 50%, mais seulement de 5 ou 10%.
CA: Pensez-vous que nous ne risquons pas l'avenir de l'humanité dans la deuxième option?
NB: Je pense qu'il n'y a rien de mal à essayer de dissuader les gens, mais cette méthode ne peut pas assurer à elle seule la sécurité.
CA: Et la troisième option?
NB:Il existe deux méthodes principales par lesquelles nous pouvons endurcir notre monde contre toute une gamme de vulnérabilités possibles. Mais vous aurez peut-être besoin des deux. Le premier est l'application de la loi policière très efficace, la
surveillance totale
, la capacité d'interception. Si quelqu'un veut commettre un crime, il serait possible de l'intercepter et de l'arrêter. Dans ce cas, une supervision généralisée sera nécessaire, chacun de nous sera sous supervision.
CA: Like Minority Report.
NB: Les algorithmes d'intelligence artificielle, d'immenses centres de liberté, etc. peuvent nous aider dans l'observation.
CA: Savez-vous que le terme «surveillance totale» n'est pas très populaire actuellement?
NB:Ce sera un petit appareil avec des caméras multidirectionnelles intégrées dans un soi-disant tour de cou qui devra être porté à tout moment. Pour que cela ne semble pas être un fardeau, appelons cela simplement quelque chose comme un «symbole de liberté».
CA: D'accord mes amis, c'est pourquoi notre conversation est si passionnante.
NB: Vous pouvez en fait parler pendant longtemps, ce qui est évident. Nous avons discuté des risques et des défis, n'est-ce pas? Nous pouvons y revenir. Et quatrièmement,
la gouvernance mondiale
la dernière possibilité de stabilisation est de combler les lacunes du gouvernement. Le contrôle deviendrait une faille dans la gouvernance au micro-niveau, empêchant quelqu'un de faire quelque chose d'illégal. Bien entendu, le même problème est observé au niveau macro, au niveau mondial. Décidément, il faudra des compétences pour éviter des perturbations dans la coordination mondiale, pour éviter une guerre entre les grandes puissances, une course aux armements, des problèmes généraux de catastrophes, pour faire face aux vulnérabilités de type 2a.
CALIFORNIE:Le terme «gouvernance mondiale» n'est clairement pas en vogue actuellement, mais vous pouvez affirmer qu'au cours de l'histoire humaine, à chaque nouvelle étape de développement, la puissance technologique augmente. Les gens ont transformé et concentré ce pouvoir. Par exemple, lorsqu'un gang criminel itinérant peut diriger une société, la réponse est que vous avez un État-nation et que vous concentrez des forces - la police ou l'armée, et «vous ne pouvez pas faire cela». La logique, peut-être, est que si une seule personne ou un groupe de personnes peut détruire l'humanité, un jour nous nous engagerons sur cette voie, du moins sous certains aspects?
NB:De toute évidence, au cours du développement de l'histoire humaine, l'échelle de l'appareil politique s'est accrue. Il y avait d'abord un groupe de chasseurs-cueilleurs, puis le chef d'une tribu, d'une cité-état, d'une nation, maintenant il y a des organisations internationales, etc. Je veux juste m'assurer d'avoir pu mettre en évidence le grand nombre d'aspects négatifs et de risques tant dans le cas de la surveillance totale que dans la gouvernance mondiale. Je veux juste noter que si nous avons de la chance, le monde peut s'avérer tel que tout ce qui précède ne sera que le salut de la boule noire.
CALIFORNIE:Si je comprends bien, la logique de cette théorie est qu'il faut comprendre que tout ne se passera pas immédiatement. C'est une sorte de rêve naïf que beaucoup d'entre nous ont que la technologie est toujours utilisée pour de bon. Continuez, ne vous arrêtez pas, dépêchez-vous si possible et ne pensez pas aux conséquences qui peuvent même ne pas arriver. Cela peut arriver. Et si tel est le cas, nous devrons accepter d’autres circonstances et participer à la course aux armements. Si vous voulez avoir du pouvoir, il est préférable de le limiter ou de trouver comment le limiter.
NB:Je pense que c'est une très bonne option, dans un sens même la plus simple et cela peut fonctionner. Mais cela signifie que nous sommes très vulnérables à l'apparition de la boule noire. Je pense qu'en ajoutant un peu de coordination, si nous résolvions tous les problèmes au niveau de la macro et de la microgestion, alors nous sortirions toutes les boules de la poubelle et récolterions beaucoup d'avantages.
CA: Quelle différence cela fait-il de vivre dans une simulation? Nous sommes juste en train de redémarrer.
NB: je ne pense pas que ce soit venu.
CA: Que pensez-vous? En mettant tout cela ensemble, quelle est la probabilité que nous soyons condamnés?
(J'adore le rire des gens quand cette question est posée.)
NB: Sur le plan individuel, nous finirons de toute façon, avec le temps, nous vieillissons, nous décomposons, et des trucs comme ça, non?
C'est en fait un peu plus compliqué. Si vous voulez calculer la probabilité que nous finissions, tout d'abord, qui sommes-nous? Si vous avez plusieurs années, vous pouvez mourir de mort naturelle. Si vous êtes jeune, vous pouvez avoir jusqu'à 100 ans. La probabilité est individuelle. Puis le seuil, c'est-à-dire pour limiter le concept de destruction de la civilisation. Dans mon livre, je ne considère pas la catastrophe existentielle comme la destruction de la civilisation. Tout est une question de définition. Disons qu'il y aura un milliard de décès ou une réduction de 50% du PIB mondial, mais comment vous définissez le seuil, vous obtenez différents degrés de probabilité. Je pense que vous m'appellerez un optimiste craintif.
CA: Vous êtes un optimiste craintif, et je pense que vous avez créé un bon nombre de vos propres ... personnes intimidées maintenant.
NB: Vivre en simulation.
CALIFORNIE:Exactement. Nick Bostrom, vos idées sont incroyables. Merci de nous avoir fait peur à mort.
Traduit par Olia Francia Révisé
par Natalia Ost
Apprenez en détail comment obtenir un métier recherché à partir de zéro ou passer au niveau supérieur en compétences et en salaire en suivant les cours en ligne payés de SkillFactory:
- Cours d'apprentissage automatique (12 semaines)
- Apprendre la science des données à partir de zéro (12 mois)
- Profession analytique avec n'importe quel niveau de départ (9 mois)
- Cours Python pour le développement Web (9 mois)
Lire la suite
- Tendances de la science des données 2020
- La science des données est morte. Vive la science des affaires
- Les scientifiques de données cool ne perdent pas de temps sur les statistiques
- Comment devenir un Data Scientist sans cours en ligne
- 450 cours gratuits de l'Ivy League
- Data Science for the Humanities: Qu'est-ce que les données
- Data Sciene : Decision Intelligence