Les humains trouvent que l’IA est un coéquipier frustrant lorsqu’ils jouent ensemble à un jeu coopératif, ce qui pose des défis pour «l’intelligence d’équipe», montre une étude.
En ce qui concerne les jeux tels que les échecs ou le Go, les programmes d’intelligence artificielle (IA) ont largement dépassé les meilleurs joueurs du monde. Ces IA « surhumaines » sont des concurrents inégalés, mais peut-être plus difficile que de rivaliser avec les humains est de collaborer avec elles. La même technologie peut-elle s’entendre avec les gens ?
Dans une nouvelle étude, AVEC Les chercheurs du Lincoln Laboratory ont cherché à savoir dans quelle mesure les humains pouvaient jouer au jeu de cartes coopératif Hanabi avec un modèle d’IA avancé formé pour exceller à jouer avec des coéquipiers qu’il n’avait jamais rencontrés auparavant. Dans des expériences en simple aveugle, les participants ont joué à deux séries de jeux : une avec l’agent IA comme coéquipier et l’autre avec un agent basé sur des règles, un bot programmé manuellement pour jouer de manière prédéfinie.
Les résultats ont surpris les chercheurs. Non seulement les scores n’étaient pas meilleurs avec le coéquipier IA qu’avec l’agent basé sur des règles, mais les humains détestaient systématiquement jouer avec leur coéquipier IA. Ils l’ont trouvé imprévisible, peu fiable et peu digne de confiance, et se sentaient négativement même lorsque l’équipe marquait bien. Un article détaillant cette étude a été accepté à la Conférence 2021 sur les systèmes de traitement de l’information neuronale (NeurIPS).
Lorsqu’ils jouaient au jeu de cartes coopératif Hanabi, les humains se sentaient frustrés et confus par les mouvements de leur coéquipier IA. Crédit : Bryan Mastergeorge
“Cela met vraiment en évidence la distinction nuancée entre la création d’une IA qui fonctionne objectivement bien et la création d’une IA qui est subjectivement digne de confiance ou préférée”, explique Ross Allen, co-auteur de l’article et chercheur au sein de l’Artificial Intelligence Technology Group. « Il peut sembler que ces choses sont si proches qu’il n’y a pas vraiment de lumière du jour entre elles, mais cette étude a montré qu’il s’agissait en fait de deux problèmes distincts. Nous devons travailler à les démêler. »
Les humains qui détestent leurs coéquipiers d’IA pourraient être une préoccupation pour les chercheurs qui conçoivent cette technologie pour un jour travailler avec des humains sur de vrais défis, comme se défendre contre des missiles ou effectuer une chirurgie complexe. Cette dynamique, appelée intelligence d’équipe, est une nouvelle frontière dans la recherche sur l’IA, et elle utilise un type particulier d’IA appelé apprentissage par renforcement.
Une IA d’apprentissage par renforcement n’est pas informée des actions à entreprendre, mais découvre à la place quelles actions rapportent la « récompense » la plus numérique en essayant encore et encore des scénarios. C’est cette technologie qui a donné naissance aux joueurs d’échecs et de go surhumains. Contrairement aux algorithmes basés sur des règles, ces IA ne sont pas programmées pour suivre les instructions « si/alors », car les résultats possibles des tâches humaines qu’ils sont censés accomplir, comme conduire une voiture, sont beaucoup trop nombreux à coder.
« L’apprentissage par renforcement est un moyen beaucoup plus général de développer l’IA. Si vous pouvez l’entraîner pour apprendre à jouer aux échecs, cet agent n’ira pas nécessairement conduire une voiture. Mais vous pouvez utiliser les mêmes algorithmes pour former un autre agent à conduire une voiture, avec les bonnes données », explique Allen. “Le ciel est la limite de ce qu’il pourrait, en théorie, faire.”
Mauvais indices, mauvais jeux
Aujourd’hui, les chercheurs utilisent Hanabi pour tester les performances des modèles d’apprentissage par renforcement développés pour la collaboration, de la même manière que les échecs ont servi de référence pour tester l’IA compétitive pendant des décennies.
Le jeu de Hanabi s’apparente à une forme multijoueur de Solitaire. Les joueurs travaillent ensemble pour empiler les cartes de la même couleur dans l’ordre. Cependant, les joueurs ne peuvent pas voir leurs propres cartes, mais uniquement les cartes que détiennent leurs coéquipiers. Chaque joueur est strictement limité dans ce qu’il peut communiquer à ses coéquipiers pour les amener à choisir la meilleure carte de leur propre main pour empiler ensuite.
Les chercheurs du Lincoln Laboratory n’ont développé ni l’IA ni les agents basés sur des règles utilisés dans cette expérience. Les deux agents représentent les meilleurs dans leurs domaines pour la performance Hanabi. En fait, lorsque le Le modèle d’IA était précédemment associé avec un coéquipier d’IA avec qui elle n’avait jamais joué auparavant, l’équipe a obtenu le score le plus élevé jamais enregistré pour le jeu Hanabi entre deux agents d’IA inconnus.
“C’était un résultat important”, dit Allen. «Nous avons pensé que si ces IA qui ne se sont jamais rencontrées auparavant peuvent se réunir et jouer vraiment bien, alors nous devrions être en mesure d’amener des humains qui savent aussi très bien jouer avec l’IA, et ils s’en sortiront également très bien. C’est pourquoi nous pensions que l’équipe d’IA jouerait objectivement mieux, et aussi pourquoi nous pensions que les humains le préféreraient, car en général, nous aimerons quelque chose de mieux si nous réussissons bien.
Aucune de ces attentes ne s’est réalisée. Objectivement, il n’y avait pas de différence statistique dans les scores entre l’IA et l’agent basé sur des règles. Subjectivement, les 29 participants ont signalé dans les sondages une nette préférence pour le coéquipier basé sur des règles. Les participants n’étaient pas informés avec quel agent ils jouaient pour quels jeux.
“Un participant a dit qu’il était tellement stressé par le mauvais jeu de l’agent d’IA qu’il a en fait eu mal à la tête”, explique Jaime Pena, chercheur au AI Technology and Systems Group et auteur de l’article. “Un autre a dit qu’ils pensaient que l’agent basé sur des règles était stupide mais réalisable, tandis que l’agent d’IA a montré qu’il comprenait les règles, mais que ses mouvements n’étaient pas cohérents avec ce à quoi ressemble une équipe. Pour eux, c’était donner de mauvais indices, faire de mauvais jeux.
Créativité inhumaine
Cette perception de l’IA faisant de « mauvais jeux » est liée à des comportements surprenants que les chercheurs ont observés précédemment dans le travail d’apprentissage par renforcement. Par exemple, en 2016, lorsque AlphaGo de DeepMind a battu pour la première fois l’un des meilleurs joueurs de Go au monde, l’un des mouvements les plus appréciés d’AlphaGo a été déplacer 37 dans le jeu 2, un geste si inhabituel que les commentateurs humains ont pensé qu’il s’agissait d’une erreur. Une analyse ultérieure a révélé que le mouvement était en fait extrêmement bien calculé et qu’il était décrit comme un “génie”.
De tels mouvements peuvent être loués lorsqu’un adversaire IA les exécute, mais ils sont moins susceptibles d’être célébrés en équipe. Les chercheurs du Lincoln Laboratory ont découvert que des mouvements étranges ou apparemment illogiques étaient les pires contrevenants pour briser la confiance des humains dans leur coéquipier d’IA dans ces équipes étroitement couplées. De tels mouvements ont non seulement diminué la perception des joueurs quant à la qualité de leur collaboration avec leur coéquipier d’IA, mais aussi à quel point ils voulaient travailler avec l’IA, en particulier lorsque le gain potentiel n’était pas immédiatement évident.
“Il y avait beaucoup de commentaires sur l’abandon, des commentaires comme” Je déteste travailler avec cette chose “”, ajoute Hosea Siu, également auteur de l’article et chercheur au sein du groupe d’ingénierie des systèmes de contrôle et d’autonomie.
Les participants qui se sont considérés comme des experts Hanabi, ce que la majorité des joueurs de cette étude ont fait, ont plus souvent abandonné le joueur AI. Siu trouve cela préoccupant pour les développeurs d’IA, car les principaux utilisateurs de cette technologie seront probablement des experts du domaine.
« Disons que vous formez un assistant de guidage IA super intelligent pour un scénario de défense antimissile. Vous ne le confiez pas à un stagiaire ; vous le confiez à vos experts sur vos navires qui font cela depuis 25 ans. Donc, s’il y a un fort parti pris d’expert contre cela dans les scénarios de jeu, cela va probablement apparaître dans les opérations du monde réel », ajoute-t-il.
Humains spongieux
Les chercheurs notent que l’IA utilisée dans cette étude n’a pas été développée pour les préférences humaines. Mais, cela fait partie du problème – peu le sont. Comme la plupart des modèles d’IA collaboratifs, ce modèle a été conçu pour obtenir un score aussi élevé que possible, et son succès a été évalué par ses performances objectives.
Si les chercheurs ne se concentrent pas sur la question des préférences humaines subjectives, « alors nous ne créerons pas d’IA que les humains voudront réellement utiliser », déclare Allen. « Il est plus facile de travailler sur l’IA qui améliore un nombre très propre. Il est beaucoup plus difficile de travailler sur une IA qui fonctionne dans ce monde plus complexe de préférences humaines. »
Résoudre ce problème plus difficile est l’objectif du projet MeRLin (Mission-Ready Reinforcement Learning), dans le cadre duquel cette expérience a été financée par le Lincoln Laboratory’s Technology Office, en collaboration avec l’accélérateur d’intelligence artificielle de l’US Air Force et le département de génie électrique et informatique du MIT. Science. Le projet étudie ce qui a empêché la technologie d’IA collaborative de sauter hors de l’espace de jeu et dans une réalité plus désordonnée.
Les chercheurs pensent que la capacité de l’IA à expliquer ses actions engendrera la confiance. Ce sera l’objet de leur travail pour l’année prochaine.
« Vous pouvez imaginer que nous reprenons l’expérience, mais après coup – et c’est beaucoup plus facile à dire qu’à faire – l’humain pourrait demander : « Pourquoi avez-vous fait ce mouvement, je ne l’ai pas compris ? » Si l’IA pouvait donner un aperçu de ce qu’ils pensaient qu’il allait se passer sur la base de leurs actions, alors notre hypothèse est que les humains diraient : « Oh, une façon étrange d’y penser, mais je comprends maintenant », et ils faites-lui confiance. Nos résultats changeraient totalement, même si nous n’avons pas changé la prise de décision sous-jacente de l’IA », a déclaré Allen.
Comme une réunion après un match, ce type d’échange est souvent ce qui aide les humains à développer la camaraderie et la coopération en équipe.
« C’est peut-être aussi un biais de dotation. La plupart des équipes d’IA n’ont pas de personnes qui veulent travailler sur ces humains mous et leurs problèmes mous », ajoute Siu en riant. « Ce sont des gens qui veulent faire des maths et de l’optimisation. Et c’est la base, mais ce n’est pas suffisant.
Maîtriser un jeu tel que Hanabi entre l’IA et les humains pourrait ouvrir un univers de possibilités pour faire équipe avec l’intelligence à l’avenir. Mais jusqu’à ce que les chercheurs puissent combler l’écart entre les performances d’une IA et à quel point un humain l’aime, la technologie pourrait bien rester à la machine par rapport à l’humain.
Référence : « Evaluation of Human-AI Teams for Learned and Rule-Based Agents in Hanabi » par Ho Chit Siu, Jaime D. Pena, Kimberlee C. Chang, Edenna Chen, Yutai Zhou, Victor J. Lopez, Kyle Palko et Ross E Allen, Accepté, Conférence 2021 sur les systèmes de traitement de l’information neuronale (NeurIPS).
arXiv : 2107.07630
