Le professeur Duke devient le deuxième récipiendaire du prix AAAI Squirrel AI Award pour son pionnier de l’IA socialement responsable.
Qu’il s’agisse de prévenir les explosions sur les réseaux électriques, de repérer des modèles parmi les crimes passés ou d’optimiser les ressources pour les soins aux patients gravement malades, l’informaticienne de l’Université Duke, Cynthia Rudin, souhaite que l’intelligence artificielle (IA) montre son travail. Surtout quand il s’agit de prendre des décisions qui affectent profondément la vie des gens.
Alors que de nombreux chercheurs dans le domaine en développement de l’apprentissage automatique se concentraient sur l’amélioration des algorithmes, Rudin voulait plutôt utiliser le pouvoir de l’IA pour aider la société. Elle a choisi de saisir les opportunités d’appliquer des techniques d’apprentissage automatique à d’importants problèmes de société et, ce faisant, s’est rendu compte que le potentiel de l’IA est mieux exploité lorsque les humains peuvent regarder à l’intérieur et comprendre ce qu’elle fait.
Cynthia Rudin, professeur d’ingénierie électrique et informatique et d’informatique à l’Université Duke. Crédit : Les Todd
Aujourd’hui, après 15 ans de plaidoyer et de développement d’algorithmes d’apprentissage automatique « interprétables » qui permettent aux humains de voir à l’intérieur de l’IA, les contributions de Rudin dans le domaine lui ont valu le prix Squirrel AI d’un million de dollars pour l’intelligence artificielle au profit de l’humanité de l’Association for l’avancement de l’intelligence artificielle (AAAI). Fondée en 1979, l’AAAI est la principale société scientifique internationale au service des chercheurs, des praticiens et des éducateurs en IA.
Rudin, professeur d’informatique et d’ingénierie à Duke, est le deuxième récipiendaire du nouveau prix annuel, financé par la société d’éducation en ligne Squirrel AI pour reconnaître les réalisations en intelligence artificielle d’une manière comparable aux meilleurs prix dans des domaines plus traditionnels.
Elle est citée pour « des travaux scientifiques pionniers dans le domaine des systèmes d’IA interprétables et transparents dans des déploiements réels, le plaidoyer en faveur de ces fonctionnalités dans des domaines très sensibles tels que la justice sociale et le diagnostic médical, et servant de modèle pour les chercheurs et praticiens. »
« Seules les reconnaissances de renommée mondiale, telles que le prix Nobel et le prix AM Turing de l’Association of Computing Machinery, offrent des récompenses monétaires d’un million de dollars », a déclaré la présidente et ancienne présidente du comité des prix AAAI, Yolanda Gil. « Les travaux du professeur Rudin soulignent l’importance de la transparence pour les systèmes d’IA dans les domaines à haut risque. Son courage à aborder des questions controversées souligne l’importance de la recherche pour relever les défis critiques de l’utilisation responsable et éthique de l’IA. »
Le premier projet appliqué de Rudin était une collaboration avec Con Edison, la société d’énergie responsable de l’alimentation de la ville de New York. Sa mission consistait à utiliser l’apprentissage automatique pour prédire quels trous d’homme risquaient d’exploser en raison de la dégradation et de la surcharge des circuits électriques. Mais elle a vite découvert que peu importe le nombre de cloches et de sifflets académiques nouvellement publiés qu’elle ajoutait à son code, il avait du mal à améliorer de manière significative les performances face aux défis posés par le travail avec les notes manuscrites des répartiteurs et les registres comptables de l’époque de Thomas Edison.
« Nous devenions plus précision à partir de techniques statistiques classiques simples et d’une meilleure compréhension des données au fur et à mesure que nous continuions à les utiliser », a déclaré Rudin. « Si nous pouvions comprendre quelles informations les modèles prédictifs utilisaient, nous pourrions demander aux ingénieurs de Con Edison des commentaires utiles qui ont amélioré l’ensemble de notre processus. C’est l’interprétabilité du processus qui a contribué à améliorer la précision de nos prédictions, et non un modèle d’apprentissage automatique plus grand ou plus sophistiqué. C’est ce sur quoi j’ai décidé de travailler, et c’est la base sur laquelle mon laboratoire est construit.
Au cours de la décennie suivante, Rudin a développé des techniques d’apprentissage automatique interprétable, qui sont des modèles prédictifs qui s’expliquent d’une manière que les humains peuvent comprendre. Bien que le code de conception de ces formules soit complexe et sophistiqué, les formules peuvent être suffisamment petites pour être écrites en quelques lignes sur une fiche.
Rudin a appliqué sa marque d’apprentissage automatique interprétable à de nombreux projets percutants. Avec ses collaborateurs Brandon Westover et Aaron Struck au Massachusetts General Hospital, et son ancien élève Berk Ustun, elle a conçu un système simple basé sur des points qui peut prédire quels patients sont les plus à risque d’avoir des crises destructrices après un accident vasculaire cérébral ou une autre lésion cérébrale. Et avec son ancien AVEC étudiante Tong Wang et du service de police de Cambridge, elle a développé un modèle qui aide à découvrir les points communs entre les crimes afin de déterminer s’ils pourraient faire partie d’une série commise par les mêmes criminels. Ce programme open source est finalement devenu la base de l’algorithme Patternizr du département de police de New York, un puissant morceau de code qui détermine si un nouveau crime commis dans la ville est lié à des crimes passés.
« L’engagement de Cynthia à résoudre d’importants problèmes du monde réel, son désir de travailler en étroite collaboration avec des experts du domaine et sa capacité à distiller et expliquer des modèles complexes sont sans précédent », a déclaré Daniel Wagner, surintendant adjoint du département de police de Cambridge. « Ses recherches ont donné lieu à des contributions importantes dans le domaine de l’analyse de la criminalité et de la police. Plus impressionnant encore, elle est une critique acharnée des modèles de « boîte noire » potentiellement injustes dans la justice pénale et d’autres domaines à enjeux élevés, et une ardente défenseure des modèles interprétables transparents où des résultats précis, justes et sans préjugés sont essentiels. »
Les modèles black box sont à l’opposé des codes transparents de Rudin. Les méthodes appliquées dans ces algorithmes d’IA empêchent les humains de comprendre de quels facteurs dépendent les modèles, sur quelles données les modèles se concentrent et comment ils les utilisent. Bien que cela puisse ne pas être un problème pour des tâches triviales telles que distinguer un chien d’un chat, cela pourrait être un énorme problème pour les décisions à enjeux élevés qui changent la vie des gens.
“Cynthia change le paysage de la façon dont l’IA est utilisée dans les applications sociétales en redirigeant les efforts loin des modèles de boîte noire vers des modèles interprétables en montrant que la sagesse conventionnelle – que les boîtes noires sont généralement plus précises – est très souvent fausse”, a déclaré Jun Yang. , directeur du département informatique de Duke. « Cela rend plus difficile la justification de soumettre des individus (tels que des accusés) à des modèles de boîte noire dans des situations à enjeux élevés. L’interprétabilité des modèles de Cynthia a été cruciale pour les faire adopter dans la pratique, car ils permettent aux décideurs humains, plutôt que de les remplacer.
Un exemple percutant implique COMPAS, un algorithme d’IA utilisé dans plusieurs États pour prendre des décisions de libération sous caution qui a été accusé par une enquête ProPublica d’utiliser partiellement la race comme facteur dans ses calculs. L’accusation est cependant difficile à prouver, car les détails de l’algorithme sont des informations confidentielles et certains aspects importants de l’analyse de ProPublica sont discutables. L’équipe de Rudin a démontré qu’un modèle interprétable simple qui révèle exactement les facteurs qu’il prend en considération est tout aussi efficace pour prédire si une personne commettra ou non un autre crime. Cela soulève la question, dit Rudin, de savoir pourquoi les modèles de boîte noire doivent être utilisés pour ce type de décisions à enjeux élevés.
“Nous avons systématiquement montré que pour les applications à enjeux élevés, il n’y a pas de perte de précision pour gagner en interprétabilité, tant que nous optimisons soigneusement nos modèles”, a déclaré Rudin. « Nous l’avons vu pour les décisions de justice pénale, de nombreuses décisions en matière de soins de santé, notamment l’imagerie médicale, les décisions d’entretien du réseau électrique, les décisions de prêt financier, etc. Savoir que cela est possible change la façon dont nous pensons que l’IA est incapable de s’expliquer. »
Tout au long de sa carrière, Rudin a non seulement créé ces modèles d’IA interprétables, mais a également développé et publié des techniques pour aider les autres à faire de même. Cela n’a pas toujours été facile. Lorsqu’elle a commencé à publier son travail, les termes « science des données » et « apprentissage automatique interprétable » n’existaient pas, et il n’y avait aucune catégorie dans laquelle sa recherche s’inscrivait parfaitement, ce qui signifie que les éditeurs et les réviseurs ne savaient pas quoi en faire. ce. Cynthia a découvert que si un article ne prouvait pas de théorèmes et ne prétendait pas que ses algorithmes étaient plus précis, il était – et est encore souvent – plus difficile à publier.
Alors que Rudin continue d’aider les gens et de publier ses conceptions interprétables – et que de plus en plus de problèmes continuent de surgir avec le code de la boîte noire – son influence commence enfin à faire tourner le navire. Il existe désormais des catégories entières dans les revues et les conférences d’apprentissage automatique consacrées aux travaux interprétables et appliqués. D’autres collègues sur le terrain et leurs collaborateurs soulignent l’importance de l’interprétabilité pour la conception de systèmes d’IA fiables.
« J’ai très tôt eu une énorme admiration pour Cynthia, pour son esprit d’indépendance, sa détermination et sa quête incessante d’une véritable compréhension de tout ce qu’elle a rencontré de nouveau dans les cours et les papiers », a déclaré Ingrid Daubechies, James B. Duke Distinguished Professeur de mathématiques et de génie électrique et informatique, l’un des plus éminents chercheurs mondiaux en traitement du signal et l’un des directeurs de doctorat de Rudin à université de Princeton. « Même en tant qu’étudiante diplômée, elle était une bâtisseuse communautaire, défendant les autres membres de sa cohorte. Elle m’a fait découvrir l’apprentissage automatique, car ce n’était pas un domaine dans lequel j’avais la moindre expertise avant de m’y pousser doucement mais avec beaucoup de persévérance. Je suis très heureux de cette reconnaissance merveilleuse et très méritée pour elle !
“Je ne pourrais pas être plus ravi de voir le travail de Cynthia honoré de cette manière”, a ajouté le deuxième directeur de thèse de Rudin, Robert Schapire, partenaire de Microsoft Research, dont le travail sur le “boosting” a contribué à jeter les bases de l’apprentissage automatique moderne. “Pour ses recherches inspirantes et perspicaces, sa pensée indépendante qui l’a menée dans des directions très différentes du courant dominant, et pour son attention de longue date aux questions et problèmes d’importance pratique et sociétale.”
Rudin a obtenu des diplômes de premier cycle en physique mathématique et en théorie musicale de la Université de Buffalo avant de terminer son doctorat en mathématiques appliquées et computationnelles à Princeton. Elle a ensuite travaillé comme chercheuse postdoctorale à la National Science Foundation à L’Université de New York, et en tant que chercheur associé à Université Columbia. Elle est devenue professeure agrégée de statistiques au Massachusetts Institute of Technology avant de rejoindre la faculté de Duke en 2017, où elle occupe des postes en informatique, en génie électrique et informatique, en biostatistique et bioinformatique, et en science statistique.
Elle a reçu à trois reprises le prix INFORMS Innovative Applications in Analytics, qui récompense les applications créatives et uniques des techniques analytiques, et est membre de l’American Statistical Association et de l’Institute of Mathematical Statistics.
“Je tiens à remercier AAAI et Squirrel AI pour avoir créé ce prix qui, je le sais, changera la donne pour le domaine”, a déclaré Rudin. « Avoir un« Prix Nobel » pour l’IA pour aider la société montre enfin clairement sans aucun doute que ce sujet – le travail de l’IA au profit de la société – est en fait important. »
