Des chercheurs ont créé une méthode pour aider les travailleurs à collaborer avec les systèmes d’intelligence artificielle. Crédit : Christine Daniloff, MIT
Des chercheurs ont créé une méthode pour aider les travailleurs à collaborer avec des systèmes d’intelligence artificielle.
Dans un hôpital très fréquenté, une radiologue utilise un système d’intelligence artificielle pour l’aider à diagnostiquer des problèmes médicaux à partir des radiographies des patients. L’utilisation du système d’intelligence artificielle peut l’aider à établir des diagnostics plus rapides, mais comment savoir quand faire confiance aux prédictions de l’IA ?
Elle ne le sait pas. Au lieu de cela, elle peut se fier à son expertise, à un niveau de confiance fourni par le système lui-même, ou à une explication de la façon dont l’algorithme a fait sa prédiction – qui peut sembler convaincante mais être toujours fausse – pour faire une estimation.
Pour aider les gens à mieux comprendre quand faire confiance à un “coéquipier” de l’IA, .MIT ont créé une technique d’accueil qui aide les humains à mieux comprendre les situations dans lesquelles une machine fait des prédictions correctes et celles dans lesquelles elle fait des prédictions incorrectes.
En montrant aux gens comment l’IA complète leurs capacités, la technique de formation pourrait aider les humains à prendre de meilleures décisions ou à parvenir plus rapidement à des conclusions lorsqu’ils travaillent avec des agents IA.
“Nous proposons une phase d’enseignement au cours de laquelle nous présentons progressivement à l’humain ce modèle d’IA afin qu’il puisse, par lui-même, voir ses faiblesses et ses forces”, explique Hussein Mozannar, un étudiant diplômé du groupe d’apprentissage de la machine clinique du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) et de l’Institut d’ingénierie et de sciences médicales. “Nous y parvenons en imitant la manière dont l’humain interagira avec l’IA dans la pratique, mais nous intervenons pour lui donner un retour d’information afin de l’aider à comprendre chaque interaction qu’il effectue avec l’IA.”
M. Mozannar a rédigé l’article avec Arvind Satyanarayan, professeur adjoint d’informatique qui dirige le groupe de visualisation du CSAIL, et l’auteur principal David Sontag, professeur associé d’ingénierie électrique et d’informatique au MIT et chef du groupe d’apprentissage clinique par machine. La recherche sera présentée à l’Association for the Advancement of Artificial Intelligence en février.
Modèles mentaux
Ce travail se concentre sur les modèles mentaux que les humains construisent sur les autres. Si la radiologue n’est pas sûre d’un cas, elle peut demander à un collègue expert dans un certain domaine. Grâce à son expérience passée et à la connaissance qu’elle a de ce collègue, elle a un modèle mental de ses forces et de ses faiblesses qu’elle utilise pour évaluer ses conseils.
Les humains construisent les mêmes types de modèles mentaux lorsqu’ils interagissent avec des agents d’IA, il est donc important que ces modèles soient précis, explique M. Mozannar. Les sciences cognitives suggèrent que les humains prennent des décisions pour des tâches complexes en se souvenant de leurs interactions et expériences passées. Les chercheurs ont donc conçu un processus d’intégration qui fournit des exemples représentatifs de la collaboration entre l’humain et l’IA, qui servent de points de référence sur lesquels l’humain peut s’appuyer à l’avenir. Ils ont commencé par créer un algorithme capable d’identifier les exemples qui permettront à l’humain de mieux connaître l’IA.
“Nous apprenons d’abord les biais et les forces d’un expert humain, en utilisant les observations de ses décisions passées non guidées par l’IA”, explique Mozannar. “Nous combinons nos connaissances sur l’humain avec ce que nous savons de l’IA pour voir dans quels cas il sera utile pour l’humain de se fier à l’IA. Ensuite, nous obtenons des cas où nous savons que l’humain devrait se fier à l’IA et des cas similaires où l’humain ne devrait pas se fier à l’IA.”
Les chercheurs ont testé leur technique d’accueil sur une tâche de réponse à une question basée sur un passage : L’utilisateur reçoit un passage écrit et une question dont la réponse est contenue dans le passage. L’utilisateur doit alors répondre à la question et peut cliquer sur un bouton pour “laisser l’IA répondre”. L’utilisateur ne peut cependant pas voir la réponse de l’IA à l’avance, ce qui l’oblige à se fier à son modèle mental de l’IA. Le processus d’intégration qu’ils ont mis au point commence par la présentation de ces exemples à l’utilisateur, qui tente de faire une prédiction avec l’aide du système d’IA. L’humain peut avoir raison ou tort, et l’IA peut avoir raison ou tort, mais dans tous les cas, après avoir résolu l’exemple, l’utilisateur voit la bonne réponse et une explication de la raison pour laquelle l’IA a choisi sa prédiction. Pour aider l’utilisateur à généraliser à partir de l’exemple, deux exemples contrastés sont montrés pour expliquer pourquoi l’IA a eu raison ou tort.
Par exemple, la question d’entraînement peut demander laquelle de deux plantes est originaire de plus de continents, en se basant sur un paragraphe alambiqué d’un manuel de botanique. L’humain peut répondre par lui-même ou laisser le système d’IA répondre. Ensuite, ilvoit deux exemples de suivi qui l’aident à se faire une meilleure idée des capacités de l’IA. Peut-être que l’IA se trompe sur une question de suivi sur les fruits, mais qu’elle a raison sur une question sur la géologie. Dans chaque exemple, les mots utilisés par le système pour faire sa prédiction sont mis en évidence. Le fait de voir les mots surlignés aide l’humain à comprendre les limites de l’agent IA, explique Mozannar.
Pour aider l’utilisateur à retenir ce qu’il a appris, il note ensuite la règle qu’il déduit de cet exemple d’enseignement, par exemple “Cette IA n’est pas bonne pour prédire les fleurs.” Elle peut ensuite se référer à ces règles plus tard lorsqu’elle travaille avec l’agent dans la pratique. Ces règles constituent également une formalisation du modèle mental de l’utilisateur de l’IA.
L’impact de l’enseignement
Les chercheurs ont testé cette technique d’enseignement avec trois groupes de participants. Un groupe a suivi l’intégralité de la technique d’accueil, un autre groupe n’a pas reçu les exemples de comparaison de suivi, et le groupe de référence n’a reçu aucun enseignement mais a pu voir la réponse de l’IA à l’avance.
“Les participants qui ont reçu un enseignement ont fait aussi bien que les participants qui n’ont pas reçu d’enseignement mais qui ont pu voir la réponse de l’IA. La conclusion est donc qu’ils sont capables de simuler la réponse de l’IA aussi bien que s’ils l’avaient vue”, explique Mozannar.
Les chercheurs ont creusé plus profondément dans les données pour voir les règles écrites par les participants. Ils ont constaté que près de 50 % des personnes ayant reçu une formation ont écrit des leçons précises sur les capacités de l’IA. Ceux qui ont reçu des leçons précises avaient raison dans 63 % des exemples, tandis que ceux qui n’ont pas reçu de leçons précises avaient raison dans 54 % des cas. Et ceux qui n’ont pas reçu d’enseignement mais qui pouvaient voir les réponses de l’IA avaient raison sur 57 % des questions.
“Lorsque l’enseignement est réussi, il a un impact significatif. C’est ce qu’il faut retenir ici. Lorsque nous sommes en mesure d’enseigner efficacement aux participants, ils sont capables de faire mieux que si vous leur donniez la réponse”, dit-il.
Mais les résultats montrent aussi qu’il y a encore un fossé. Seuls 50 % des participants formés ont construit des modèles mentaux précis de l’IA, et même ceux qui l’ont fait n’ont eu raison que 63 % du temps. Même s’ils ont appris des leçons précises, ils n’ont pas toujours suivi leurs propres règles, dit Mozannar.
C’est une question qui laisse les chercheurs perplexes : même si les gens savent que l’IA devrait avoir raison, pourquoi n’écoutent-ils pas leur propre modèle mental ? Ils veulent explorer cette question à l’avenir, et affiner le processus d’accueil pour réduire le temps qu’il prend. Ils souhaitent également mener des études sur les utilisateurs avec des modèles d’IA plus complexes, notamment dans le domaine des soins de santé.
Référence : “Teaching Humans When To Defer to a Classifier via Exemplars” par Hussein Mozannar, Arvind Satyanarayan et David Sontag, 13 décembre 2021, Informatique > ; Apprentissage automatique.
arXiv:2111.11297
Cette recherche a été soutenue, en partie, par la National Science Foundation.
