Les dernières constructions d’intelligence artificielle de l’industrie technologique peuvent être assez convaincantes si vous leur demandez ce que cela fait d’être un ordinateur sensible, ou peut-être simplement un dinosaure ou un écureuil. Mais ils ne sont pas si bons – et parfois dangereusement mauvais – pour gérer d’autres tâches apparemment simples.
Prenez, par exemple, GPT-3, un système contrôlé par Microsoft qui peut générer des paragraphes de texte de type humain à partir de ce qu’il a appris d’une vaste base de données de livres numériques et d’écrits en ligne. Il est considéré comme l’un des plus avancés d’une nouvelle génération d’algorithmes d’IA capables de converser, de générer du texte lisible à la demande et même de produire des images et des vidéos inédites.
Entre autres choses, GPT-3 peut rédiger la plupart des textes que vous lui demandez – une lettre de motivation pour un emploi de gardien de zoo, par exemple, ou un sonnet de style shakespearien se déroulant sur Mars. Mais lorsque Gary Smith, professeur au Pomona College, lui a posé une question simple mais absurde sur le fait de monter les escaliers, le GPT-3 a fait chou blanc.
“Oui, on peut monter les escaliers sans danger si on se lave les mains avant”, a répondu l’IA.
Ces systèmes d’IA puissants et énergivores, connus techniquement sous le nom de “grands modèles de langage” parce qu’ils ont été entraînés sur un énorme corpus de textes et d’autres médias, sont déjà intégrés dans les chatbots du service clientèle, les recherches Google et les fonctions de messagerie électronique “à remplissage automatique” qui terminent vos phrases à votre place. Mais la plupart des entreprises technologiques qui les ont construits ont gardé le secret sur leur fonctionnement interne, ce qui rend difficile pour les personnes extérieures de comprendre les défauts qui peuvent en faire une source de désinformation, de racisme et d’autres préjudices.
“Ils sont très doués pour écrire des textes avec la compétence des êtres humains”, a déclaré Teven Le Scao, ingénieur de recherche à la startup d’IA Hugging Face. “Ce pour quoi ils ne sont pas très bons, c’est pour être factuels. Cela semble très cohérent. C’est presque vrai. Mais c’est souvent faux”.
C’est l’une des raisons pour lesquelles une coalition de chercheurs en IA codirigée par Le Scao – avec l’aide du gouvernement français – a lancé mardi un nouveau modèle de langue à grande échelle qui est censé servir d’antidote aux systèmes fermés tels que GPT-3. Le groupe s’appelle BigScience et son modèle s’appelle BLOOM, pour BigScience Large Open-science Open-access Multilingual Language Model. Sa principale avancée est qu’il fonctionne dans 46 langues, dont l’arabe, l’espagnol et le français, contrairement à la plupart des systèmes qui se concentrent sur l’anglais ou le chinois.
Le groupe de Le Scao n’est pas le seul à vouloir ouvrir la boîte noire des modèles linguistiques de l’IA. L’entreprise Big Tech Meta, la société mère de Facebook et Instagram, appelle également à une approche plus ouverte pour tenter de rattraper les systèmes construits par Google et OpenAI, la société qui gère GPT-3.
“Nous avons vu annonce après annonce après annonce de personnes faisant ce genre de travail, mais avec très peu de transparence, très peu de possibilité pour les gens de vraiment regarder sous le capot et de jeter un coup d’œil sur la façon dont ces modèles fonctionnent”, a déclaré Joelle Pineau, directrice générale de Meta AI.
La pression concurrentielle pour construire le système le plus éloquent ou le plus informatif – et profiter de ses applications – est l’une des raisons pour lesquelles la plupart des entreprises technologiques gardent un œil sur eux et ne collaborent pas sur les normes de la communauté, a déclaré Percy Liang, un professeur associé d’informatique à Stanford qui dirige son Centre de recherche sur les modèles de fondation.
“Pour certaines entreprises, il s’agit de leur sauce secrète”, a déclaré M. Liang. Mais elles craignent souvent aussi que la perte de contrôle n’entraîne des utilisations irresponsables. Comme les systèmes d’IA sont de plus en plus capables de rédiger des sites de conseils de santé, des dissertations de lycée ou des articles politiques, la désinformation peut proliférer et il sera de plus en plus difficile de savoir ce qui vient d’un humain ou d’un ordinateur.
Meta a récemment lancé un nouveau modèle de langage appelé OPT-175B qui utilise des données accessibles au public – des commentaires enflammés sur les forums de Reddit aux archives des brevets américains, en passant par une foule d’e-mails du scandale Enron. Selon Meta, l’ouverture des données, du code et des journaux de bord de la recherche facilite l’identification et l’atténuation des préjugés et de la toxicité que le modèle détecte en ingérant la façon dont les gens écrivent et communiquent.
“C’est difficile de faire cela. Nous nous exposons à d’énormes critiques. Nous savons que le modèle dira des choses dont nous ne serons pas fiers”, a déclaré M. Pineau.
Alors que la plupart des entreprises ont mis en place leurs propres protections internes en matière d’IA, M. Liang a déclaré que des normes communautaires plus larges étaient nécessaires pour guider la recherche et les décisions telles que le moment où un nouveau modèle doit être diffusé dans la nature.
Le fait que ces modèles nécessitent une telle puissance de calcul que seuls les entreprises géantes et les gouvernements peuvent se les offrir n’aide pas.BigScience, par exemple, a pu former ses modèles grâce à l’accès au puissant supercalculateur français Jean Zay, près de Paris.
La tendance à l’élaboration de modèles linguistiques d’IA toujours plus gros et toujours plus intelligents qui pourraient être “pré-entraînés” sur un large corpus d’écrits a fait un grand bond en 2018 lorsque Google a présenté un système connu sous le nom de BERT qui utilise une technique dite de “transformateur” qui compare les mots à travers une phrase pour prédire le sens et le contexte. Mais ce qui a vraiment impressionné le monde de l’IA, c’est GPT-3, publié par la startup OpenAI, basée à San Francisco, en 2020 et peu après, licencié en exclusivité par Microsoft.
GPT-3 a entraîné un boom de l’expérimentation créative, car les chercheurs en IA ayant un accès payant l’ont utilisé comme un bac à sable pour évaluer ses performances – mais sans informations importantes sur les données sur lesquelles il a été entraîné.
OpenAI a largement décrit ses sources d’entraînement dans un document de recherche, et a également fait part publiquement de ses efforts pour lutter contre les abus potentiels de la technologie. Mais Thomas Wolf, co-directeur de BigScience, a déclaré que l’entreprise ne fournissait pas de détails sur la manière dont elle filtrait les données, ni ne donnait accès à la version traitée aux chercheurs extérieurs.
“Nous ne pouvons donc pas réellement examiner les données qui ont servi à la formation GPT-3”, a déclaré M. Wolf, qui est également directeur scientifique de Hugging Face. “Le cœur de cette récente vague de technologies d’IA réside bien plus dans les données que dans les modèles. L’ingrédient le plus important, ce sont les données et OpenAI est très, très secret sur les données qu’ils utilisent.”
Wolf a déclaré que l’ouverture des ensembles de données utilisés pour les modèles de langage aide les humains à mieux comprendre leurs biais. Un modèle multilingue formé en arabe est beaucoup moins susceptible de cracher des remarques offensantes ou des malentendus sur l’Islam qu’un modèle formé uniquement sur des textes en anglais aux États-Unis, a-t-il dit.
L’un des plus récents modèles expérimentaux d’IA sur la scène est LaMDA de Google, qui incorpore également la parole et est si impressionnant pour répondre aux questions de conversation qu’un ingénieur de Google a soutenu qu’il s’approchait de la conscience – une affirmation qui lui a valu d’être suspendu de son poste le mois dernier.
Janelle Shane, chercheuse basée dans le Colorado et auteur du blog AI Weirdness, a passé ces dernières années à tester de manière créative ces modèles, en particulier GPT-3, souvent avec un effet humoristique. Mais pour souligner l’absurdité de penser que ces systèmes sont conscients d’eux-mêmes, elle a récemment demandé à une IA avancée d’être secrètement un Tyrannosaurus rex ou un écureuil.
“C’est très excitant d’être un écureuil. Je peux courir, sauter et jouer toute la journée. Je mange aussi beaucoup de nourriture, ce qui est génial”, a dit GPT-3, après que Shane lui ait demandé la transcription d’une interview et lui ait posé quelques questions.
Shane en a appris davantage sur ses forces, comme sa facilité à résumer ce qui a été dit sur Internet à propos d’un sujet, et sur ses faiblesses, notamment son manque de capacité de raisonnement, la difficulté de s’en tenir à une idée à travers plusieurs phrases et sa propension à être offensant.
“Je ne voudrais pas qu’un modèle de texte donne des conseils médicaux ou serve de compagnon”, a-t-elle déclaré. “Il est bon pour cette apparence superficielle de signification si vous ne lisez pas attentivement. C’est comme écouter une conférence alors que vous vous endormez.”
