Certains experts estiment que dans les décennies à venir, nous verrons la prochaine étape du développement de l'intelligence artificielle. La soi-disant «intelligence artificielle générale» ou AGI (intelligence artificielle générale), qui aura des capacités intellectuelles bien supérieures à celles de l'homme.
L'AGI pourrait changer la vie humaine pour le mieux, mais sans contrôle, elle augmente le risque de catastrophes mondiales, jusqu'à la mort de l'humanité. Cela se produira sans aucune intention ou intention malveillante: simplement en s'efforçant d'atteindre ses objectifs programmés, l'AGI peut menacer la santé et le bien-être humains, ou même décider de nous détruire.
Même un système AGI conçu à des fins nobles peut à la fin faire beaucoup de mal.
Dans le cadre d'un programme de recherche examinant comment les gens peuvent gérer les risques associés à l'AGI, nous avons tenté d'identifier les risques potentiels de remplacer le Père Noël par un système AGI (appelons-le «SantaNet»). Le but du système est de livrer des cadeaux à tous les enfants dignes de la planète en une nuit de Noël.
Il ne fait aucun doute que SantaNet est capable d'apporter le bonheur au monde. Il atteindra son objectif en créant une armée d'elfes, d'assistants IA et de drones. Mais à quel prix? Nous avons identifié un certain nombre de comportements qui, bien que bien intentionnés, peuvent avoir un impact négatif sur la santé et le bien-être des personnes.
Vilain et bon
Le premier ensemble de risques survient lorsque SantaNet essaie de dresser une liste d'enfants bons et vilains. Le système de surveillance secrète de masse, qui surveille le comportement des enfants tout au long de l'année, y fera face.
Conscient de l'ampleur de la tâche de livraison de cadeaux, SantaNet décidera judicieusement de la garder gérable et de ne livrer des cadeaux qu'aux enfants qui se comportent à peu près toute l'année. Faire des jugements sur le «bien» sur la base de la propre boussole éthique et morale de SantaNet peut conduire à la discrimination, à une inégalité généralisée et à des violations de la déclaration des droits de l'homme.
SantaNet peut également réduire la charge de travail en incitant les enfants à se comporter de manière inappropriée ou en élevant la barre sur ce qui est considéré comme un «bon» comportement. Plus les enfants sont répertoriés comme méchants, plus l'objectif de SantaNet sera réalisable, car le système économisera des ressources.
Recyclez le monde entier en jouets
Il y a environ 2 milliards d'enfants de moins de 14 ans dans le monde. En essayant de créer des jouets pour tout le monde chaque année, SantaNet peut construire une armée de drones IA efficaces. À son tour, cela entraînera un chômage massif parmi la population elfique (note: selon la tradition de Noël, les elfes fabriquent des jouets pour les enfants). Finalement, la question elfique sera obsolète et le bien-être des elfes tombera probablement en dehors de la compétence de SantaNet.
SantaNet peut faire face au "problème du trombone" proposé par le philosophe d'Oxford Nick Bostrom. Conçue pour maximiser la production de fournitures de bureau, AGI a le potentiel de transformer la Terre en une gigantesque usine de trombones. Puisque SantaNet ne se soucie que des cadeaux, il peut utiliser toutes les ressources de la Terre pour les fabriquer. La terre deviendra l'atelier d'un Père Noël géant.
Et ceux sur la liste des vilains? Si SantaNet continue de leur apporter des morceaux de charbon, comme c'est la tradition, il s'efforcera de créer d'énormes réserves de charbon grâce à l'extraction de masse. L'IA causera donc des dommages importants à l'environnement.
Problèmes de livraison
Un nouvel ensemble de risques survient la veille de Noël lorsque des cadeaux doivent être livrés. Que fera SantaNet lorsque ses drones de livraison se verront refuser l'accès à l'espace aérien (ce qui compromettrait la livraison de tous les cadeaux avant le lever du soleil)? Comment SantaNet va-t-il se défendre contre une attaque ennemie comme le Grinch?
Il est peu probable que les parents effrayés soient heureux de voir un drone dans la chambre de leur enfant. La confrontation avec une superintelligence artificielle n'aura qu'un seul résultat.
Nous avons identifié d'autres scénarios de problème. Des équipes malveillantes peuvent compromettre les systèmes SantaNet et les utiliser pour surveiller ou lancer secrètement des attaques terroristes à grande échelle.
De plus, comment SantaNet interagira-t-il avec les autres systèmes basés sur AGI? Rencontrer des intelligences artificielles travaillant sur le changement climatique, la dégradation des océans, la sécurité alimentaire et hydrique conduit à des conflits si le régime SantaNet menace leurs propres objectifs. Au contraire, s'ils décident de travailler ensemble, ils peuvent se rendre compte que leurs objectifs ne sont plus faciles à atteindre que par un déclin brutal de la population mondiale ou même la destruction complète des adultes.
Règles pour le Père Noël
Les situations SantaNet peuvent sembler farfelues, mais c'est une idée simple qui aide à identifier les risques de systèmes AGI plus réalistes. Conçus avec de bonnes intentions, ces systèmes créeront des défis incroyables en essayant d'optimiser la manière d'atteindre des objectifs limités et de rassembler des ressources pour travailler.
Il est impératif que nous trouvions et implémentions des contrôles avant AGI. Cela peut inclure des règles pour les développeurs AGI et des contraintes intégrées, cela peut être des règles morales et de décision. Les moyens de contrôler les systèmes plus larges dans lesquels AGI fonctionnera seront également utiles: règles, procédures d'exploitation et contrôles techniques dans d'autres technologies et infrastructures.
Le risque le plus évident associé à SantaNet est celui qui sera désastreux pour les enfants et moins susceptible d'affecter la plupart des adultes. Lorsque SantaNet apprend la vraie signification de Noël, il peut conclure que la célébration actuelle est incompatible avec son objectif initial. Si cela se produit, SantaNet annulera complètement Noël.
***
Eh bien, il n'y a pas encore d'intelligence artificielle du Père Noël. Si vous n'avez pas réussi à acheter des cadeaux, il est temps de vous dépêcher. Découvrez la compilation Madrobots New Years! Nous rappelons le code promo pour les lecteurs de Habr: BYE2020 . À ce sujet - une réduction de 10% sur tous les gadgets de notre guide du Nouvel An.