Intelligence artificielle dans le jeu vidéo

En 2018, une équipe de chercheurs de Google DeepMind affirme sur son blog[1] avoir conçu un programme d'intelligence artificielle capable de battre les champions humains du jeu vidéo de tir à la première personne Quake III, en utilisant les bots (les robots) intégrés au jeu[2]. Le mode choisit était le CTF (Capture the flag, « capture du drapeau » en français) : dans ce mode, le but du jeu est de récupérer le drapeau de la base ennemie pour le ramener dans sa propre base, tout en défendant son propre drapeau des assauts ennemis[3].

N'ayant reçu aucune information avant de commencer à jouer, ces robots (nommés « agents coopératifs complexes » par Deepmind)[3] ont joué des milliers de parties entre eux, apprenant de leurs erreurs pour perfectionner leurs tactiques[2] (« comment voir, agir, coopérer et concourir dans des environnements invisibles, le tout à partir d’un seul signal de renforcement par match » disant aux agents s'ils avaient gagné ou non)[3]. À chaque nouvelle partie, une nouvelle map (zone de jeu)[alpha 1] était générée automatiquement (de manière procédurale)[1], permettant de compliquer la tâche aux bots. Les trente bots se sont affrontés sur un demi-million de parties (450 000)[3], afin de maîtriser l’environnement et les différentes tactiques et stratégies inhérentes au jeu[2] - [3]. Selon les chercheurs : « Grâce à de nouveaux développements dans l’apprentissage par renforcement, nos agents ont atteint des performances de niveau humain dans Quake III Arena CTF, un environnement multi-agents complexe et l’un des jeux multijoueurs cultes en 3D à la première personne. Ces agents démontrent leur capacité à faire équipe avec d’autres agents artificiels et des joueurs humains »[3]. Pour Deepmind, « les agents n’ont jamais été informés des règles du jeu, mais ont appris ses concepts fondamentaux et [ont] développé efficacement une intuition pour le CTF »[3].

Au lieu de former un seul agent, les chercheurs ont entraîné « une population d’agents » qui apprenaient en jouant les uns avec les autres, fournissant ainsi « une diversité de coéquipiers et d’adversaires »[3]. Chaque agent dans la population possède « son propre signal de récompense interne, ce qui permet aux agents de générer leurs propres objectifs internes, comme la capture d’un drapeau »[3]. « Un processus d’optimisation à deux niveaux optimise les récompenses internes des agents directement pour gagner », en se servant de l’apprentissage par renforcement[3]. Selon les chercheurs, « les agents opèrent à deux échelles de temps, rapide et lent, ce qui améliore leur capacité à utiliser la mémoire et à générer des séquences d’actions cohérentes »[3]. Selon un graphique de progression dévoilé par Deepmind[1], les agents dépassaient déjà le niveau des joueurs humains moyens après 150 000 parties[3].

Par la suite, un tournoi est organisé entre des binômes de machines contre des binômes humains (40 joueurs humains)[3], ainsi que des duos mixtes humains/machines entre eux[2]. Selon DeepMind, les équipes de bots atteignirent un taux de victoire probable de 74 %. En comparaison, les très bons joueurs humains n’ont atteint que 52 % de taux de victoire[2]. Les équipes composées d'agents uniquement sont restées invaincues lors de leurs confrontations avec équipes composées exclusivement d’humains. Les duo d'agents avaient 95 % de chances de gagner contre des équipes humains/agent artificiel[3].

Par ailleurs, les chercheurs ont observé que la probabilité de victoire par les bots baissait si le nombre de membres dans l'équipe augmentait. Cela s'explique par le fait que l'intelligence artificielle apprend à jouer au jeu en solo, mais ne comprend pas encore complètement la notion de coopération, souvent capitale dans un jeu en équipe. Ce paramètre était l'un des objets de cette expérience, visant à améliorer la conscience collective des IA, ce qui est un point déterminant dans le développement d’une espèce[2].

Le 24 janvier 2019, Google DeepMind présente sur son blog AlphaStar[4], une intelligence artificielle dédiée au jeu de stratégie en temps réel StarCraft II qui a affronté deux joueurs humains lors d'un match retransmis en direct sur Internet. Durant cet évènement, AlphaStar bat deux joueurs professionnels, dont Grzegorz « MaNa » Komincz, de l'équipe Team Liquid, l'un des meilleurs joueurs professionnels au monde[5]. Le développement de cette intelligence artificielle a été permis par un partenariat entre Google DeepMind et Blizzard Entertainment, l'éditeur du jeu[6].

L'une des caractéristiques de cette intelligence artificielle est qu'elle propose une version implémentant un brouillard de guerre. C'est-à-dire que, contrairement aux personnages contrôlés par le jeu, l'intelligence artificielle n'a accès qu'aux informations auxquelles aurait accès un joueur humain. Par ailleurs, le nombre d'actions par minute d'AlphaStar était inférieur au nombre d'actions par minute de ses adversaires. Ce n'est donc pas la rapidité de jeu de l'IA, mais l'efficacité de sa stratégie qui aurait permis à AlphaStar de gagner, bien que cette question soit sujette à controverses[6].