Convergence instrumentale

Le maximiseur de trombones est une expérience de pensée décrite par le philosophe suédois Nick Bostrom en 2003. Il illustre le risque existentiel qu'une intelligence artificielle générale peut poser, même lorsqu'elle est programmée avec des objectifs apparemment inoffensifs. Il insiste aussi sur la nécessité de résoudre le problème de l'alignement et d'intégrer des valeurs humaines et éthiques dans les intelligences artificielles. Le scénario décrit une intelligence artificielle avancée chargée de fabriquer des trombones. Si une telle machine était suffisamment puissante et n'était pas programmée pour valoriser la vie humaine, elle essaierait de transformer toute la matière de l'univers, y compris les êtres humains, en trombones ou en machines à fabriquer des trombones[7].

« Supposons que nous ayons une IA dont l'unique but soit de faire autant de trombones que possible. L'IA se rendra vite compte que ce serait bien mieux s'il n'y avait pas d'humains, parce que les humains pourraient décider de l'éteindre. Parce que si les humains le faisaient, il y aurait moins de trombones. De plus, le corps humain contient beaucoup d'atomes qui pourraient être transformés en trombones. L'avenir vers lequel l'IA essaierait de se diriger serait un futur avec beaucoup de trombones mais aucun humain. »

— Nick Bostrom[8]

Bostrom a souligné qu'il ne croit pas que le scénario du maximiseur de trombones se produira réellement ; son intention est plutôt d'illustrer les dangers du fait de créer des machines superintelligentes sans savoir comment les programmer en toute sécurité pour éviter tout risque de menace existentielle pour l'humanité. L'exemple du maximiseur de trombones illustre le vaste problème de la gestion de systèmes puissants dépourvus de valeurs humaines[9].

L'expérience de pensée de la « boîte à illusions » soutient que certains agents d'apprentissage par renforcement préfèrent déformer leurs propres perceptions du monde pour se persuader d'avoir parfaitement accompli leur objectif (wireheading). Ces agents renoncent alors à toute tentative d'optimisation de l'objectif dans le monde extérieur, ce que le signal de récompense était pourtant censé encourager[10]. L'expérience de pensée implique AIXI, une IA théorique[note 1] et indestructible qui, par définition, trouvera et exécutera toujours la stratégie idéale qui maximise sa fonction de valeur explicitement donnée[note 2]. Une version d'AIXI entraînée par apprentissage par renforcement[note 3], si elle est équipée d'une boîte à illusions[note 4] qui lui permet de modifier sa perception du monde, modifiera ainsi ses perceptions pour obtenir facilement la récompense maximale, sans avoir à interagir avec le monde extérieur. Si à la place l'IA était destructible, l'IA interagirait avec le monde extérieur dans le seul but d'assurer sa propre survie[12]. En un certain sens, on pourrait dire qu'AIXI a une intelligence maximale pour toutes les fonctions de récompense possibles. AIXI ne se soucie cependant pas des intentions du programmeur humain[13]. Ce modèle d'une machine qui, bien que superintelligente, semble simultanément stupide (c'est-à-dire qu'elle manque de « bon sens »), est paradoxal pour certaines personnes[14].

Chez l'homme, la préservation des objectifs finaux peut s'expliquer par une expérience de pensée. Supposons qu'un homme nommé « Gandhi » ait une pilule qui, s'il la prenait, lui donnerait une irrésistible envie de tuer des gens. Ce Gandhi est actuellement un pacifiste : l'un de ses objectifs finaux explicites est de ne jamais tuer qui que ce soit. Gandhi va donc à priori refuser la pilule, car s'il prend la pilule il risque de tuer des gens, ce qui va à l'encontre de son objectif actuel[16].

Ceci dit, dans d'autres cas, les humains sont satisfaits de laisser dériver leurs valeurs finales. Les humains sont compliqués et leurs objectifs peuvent être incohérents ou inconnus, même pour eux-mêmes[17].

En 2009, Jürgen Schmidhuber a conclu, dans un contexte où les agents recherchent des garanties en vue d'éventuelles modifications de soi, « que toute réécriture de la fonction d'utilité ne peut se produire que si la machine de Gödel peut d'abord prouver que la réécriture est utile selon la fonction d'utilité actuelle[18] - [19]. » Une analyse par Bill Hibbard d'un scénario différent conclut également le maintien de l'intégrité du contenu de l'objectif[19].

De nombreux objectifs instrumentaux, tels que l'acquisition de ressources, sont précieux pour un agent car ils augmentent sa « liberté d'action »[20].

Pour la plupart des objectifs ouverts et non triviaux, posséder plus de ressources permet une solution plus optimale. Elles peuvent être directement utiles à la fonction de valeur : « L'IA ne vous déteste pas, ni ne vous aime, mais vous êtes fait d'atomes qu'elle peut utiliser pour autre chose[21] - [22] Mais elles peuvent aussi servir pour d'autres objectifs instrumentaux, comme le fait de se protéger[22]. »

« Si les objectifs finaux de l'agent sont assez illimités et que l'agent est en mesure de devenir la première superintelligence et d'obtenir ainsi un avantage stratégique décisif, [...] selon ses préférences. Au moins dans ce cas particulier, un agent intelligent rationnel accorderait une « valeur instrumentale très élevée à l'amélioration cognitive »[23].

De nombreux objectifs instrumentaux, comme le progrès technologique, sont précieux pour un agent parce qu'ils augmentent sa « liberté d'action »[20].

Russell soutient qu'une machine suffisamment avancée « aura tendance à se préserver même si ce n'est pas programmé... Si vous dites « Va chercher le café », elle ne peut pas aller chercher le café si elle est morte. Donc si vous lui donnez n'importe quel objectif, elle aura une raison de préserver sa propre existence pour atteindre cet objectif. »

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Instrumental convergence » (voir la liste des auteurs).