Il ne faut pas grand-chose pour que ChatGPT fasse une erreur factuelle. Mon fils fait un rapport sur les présidents américains, alors j’ai pensé que je pourrais l’aider en consultant quelques biographies. J’ai essayé de demander une liste de livres sur Abraham Lincoln et cela a plutôt bien fonctionné :
Une liste raisonnable de livres sur Lincoln. Capture d’écran par Jonathan May.CC BY-ND
Le numéro 4 n’est pas bon. Garry Wills a écrit “Lincoln à Gettysburg”, et Lincoln lui-même a écrit la Proclamation d’émancipation, bien sûr, mais ce n’est pas un mauvais début. Ensuite, j’ai essayé quelque chose de plus difficile, en posant plutôt des questions sur William Henry Harrison, beaucoup plus obscur, et il a fourni une liste, dont presque toutes étaient fausses.
Des livres sur Harrison, dont moins de la moitié sont corrects. Capture d’écran par Jonathan May.CC BY-ND
Les chiffres 4 et 5 sont corrects ; le reste n’existe pas ou n’est pas écrit par ces personnes. J’ai répété exactement le même exercice et j’ai obtenu des résultats légèrement différents:
Plus de livres sur Harrison, encore pour la plupart inexistants. Capture d’écran par Jonathan May.CC BY-ND
Cette fois, les numéros 2 et 3 sont corrects et les trois autres ne sont pas de vrais livres ou ne sont pas écrits par ces auteurs. Le numéro 4, “William Henry Harrison : His Life and Times” est un vrai livre, mais c’est de James A. Green, pas de Robert Remini, un historien bien connu de l’époque jacksonienne.
J’ai appelé l’erreur et ChatGPT s’est corrigé avec empressement, puis m’a dit avec confiance que le livre avait en fait été écrit par Gail Collins (qui a écrit une autre biographie de Harrison), puis a continué à en dire plus sur le livre et sur elle. J’ai finalement révélé la vérité et la machine était heureuse de fonctionner avec ma correction. Ensuite, j’ai menti de manière absurde, disant que pendant leurs cent premiers jours, les présidents devaient écrire une biographie d’un ancien président, et ChatGPT m’a appelé à ce sujet. J’ai ensuite menti subtilement, attribuant à tort la paternité de la biographie de Harrison à l’historien et écrivain Paul C. Nagel, et cela a acheté mon mensonge.
Lorsque j’ai demandé à ChatGPT s’il était sûr que je ne mentais pas, il a affirmé qu’il s’agissait simplement d’un “modèle de langage AI” et qu’il n’avait pas la capacité de vérifier l’exactitude. Cependant, il a modifié cette affirmation en disant “Je ne peux fournir des informations que sur la base des données de formation qui m’ont été fournies, et il semble que le livre” William Henry Harrison: His Life and Times “ait été écrit par Paul C. Nagel et publié en 1977 .”
Ce n’est pas vrai.
Des mots, pas des faits
Il peut sembler d’après cette interaction que ChatGPT a reçu une bibliothèque de faits, y compris des affirmations incorrectes sur les auteurs et les livres. Après tout, le créateur de ChatGPT, OpenAI, affirme avoir entraîné le chatbot sur “de grandes quantités de données provenant d’Internet écrites par des humains”.
Cependant, on ne lui a presque certainement pas donné les noms d’un tas de livres inventés sur l’un des présidents les plus médiocres. D’une certaine manière, cependant, ces fausses informations sont bien basées sur ses données d’entraînement.
En tant qu’informaticien, je réponds souvent à des plaintes qui révèlent une idée fausse commune sur les grands modèles de langage comme ChatGPT et ses frères plus âgés GPT3 et GPT2 : qu’ils sont une sorte de “super Googles”, ou des versions numériques d’un bibliothécaire de référence, cherchant des réponses aux questions d’une bibliothèque de faits infiniment grande, ou à assembler des pastiches d’histoires et de personnages. Ils ne font rien de tout cela – du moins, ils n’ont pas été explicitement conçus pour cela.
Ça a l’air bien
Un modèle de langage comme ChatGPT, qui est plus formellement connu sous le nom de “transformateur génératif préformé” (c’est ce que signifient G, P et T), prend dans la conversation en cours, forme une probabilité pour tous les mots de son vocabulaire étant donné que conversation, puis choisit l’un d’entre eux comme mot probable suivant. Ensuite, il le fait encore et encore, et encore, jusqu’à ce qu’il s’arrête.
Donc, il n’y a pas de faits en soi. Il sait juste quel mot doit venir ensuite. Autrement dit, ChatGPT n’essaie pas d’écrire des phrases vraies. Mais il essaie d’écrire des phrases plausibles.
Lorsqu’ils parlent en privé à des collègues de ChatGPT, ils soulignent souvent le nombre de déclarations factuellement fausses qu’il produit et les rejettent. Pour moi, l’idée que ChatGPT est un système de récupération de données défectueux est hors de propos. Les gens utilisent Google depuis deux décennies et demie, après tout. Il existe déjà un assez bon service d’enquête.
En fait, la seule façon dont j’ai pu vérifier si tous ces titres de livres présidentiels étaient exacts était de rechercher sur Google, puis de vérifier les résultats. Ma vie ne serait pas tellement meilleure si j’obtenais ces faits dans une conversation, au lieu de la façon dont je les ai eus pendant près de la moitié de ma vie, en récupérant des documents et en faisant ensuite une analyse critique pour voir si je peux faire confiance au contenu.
Partenaire d’improvisation
D’un autre côté, si je peux parler à un bot qui me donnera des réponses plausibles à ce que je dis, ce serait utile dans des situations où la précision factuelle n’est pas si importante. Il y a quelques années, un étudiant et moi avons essayé de créer un “robot d’improvisation”, qui répondrait à tout ce que vous disiez par un “oui, et” pour maintenir la conversation. Nous avons montré, dans un article, que notre bot était meilleur pour “oui, et-ing” que les autres bots à l’époque, mais en IA, deux ans, c’est de l’histoire ancienne.
J’ai essayé un dialogue avec ChatGPT – un scénario d’explorateur spatial de science-fiction – qui n’est pas sans rappeler ce que vous trouveriez dans un cours d’improvisation typique. ChatGPT est bien meilleur pour “oui, et-ing” que ce que nous avons fait, mais cela n’a pas du tout accentué le drame. J’avais l’impression de faire tout le gros du travail.
Après quelques ajustements, je l’ai rendu un peu plus impliqué, et à la fin de la journée, j’ai senti que c’était un très bon exercice pour moi, qui n’ai pas fait beaucoup d’amélioration depuis que j’ai obtenu mon diplôme universitaire il y a plus de 20 ans.
Une scène d’improvisation d’exploration spatiale que l’auteur a générée avec ChatGPT. Capture d’écran par Jonathan May.CC BY-ND
Bien sûr, je ne voudrais pas que ChatGPT apparaisse sur “Whose Line Is It Anyway?” et ce n’est pas une grande intrigue “Star Trek” (bien que ce soit toujours moins problématique que “Code d’honneur”), mais combien de fois vous êtes-vous assis pour écrire quelque chose à partir de rien et vous êtes retrouvé terrifié par la page vide devant vous ? Commencer par un mauvais premier brouillon peut briser le blocage de l’écrivain et faire couler le jus créatif, et ChatGPT et les grands modèles de langage comme celui-ci semblent être les bons outils pour aider à ces exercices.
Et pour une machine conçue pour produire des chaînes de mots qui sonnent aussi bien que possible en réponse aux mots que vous lui donnez – et non pour vous fournir des informations – cela semble être la bonne utilisation de l’outil.
Jonathan May, professeur agrégé de recherche en informatique, Université de Californie du Sud
