Internet n’arrête pas de parler d’un programme d’IA capable d’écrire une prose si astucieuse qu’il semble réussir le test de Turing. Les étudiants écrivent des articles avec lui, les spécialistes du marketing Internet l’utilisent pour rédiger des textes marketing, et de nombreux autres ont juste des conversations sérieuses et amusantes avec lui sur le sens de la vie. Le chatbot IA en question s’appelle GPT-3, et c’est la dernière itération d’un long projet de la société OpenAI. Abréviation de “Generative Pre-trained Transformer 3”, GPT-3 est ce que les informaticiens appellent un grand modèle de langage (LLM).
Pourtant, tout ce tapage autour de GPT-3 masque un fait simple à propos des LLM : ce sont essentiellement des générateurs de texte. Très compliquées certes, mais elles ne sont pas « intelligentes » au sens humain ; et bien qu’ils puissent ressembler à des personnes avec qui vous conversez, tout cela n’est que fumée et miroirs. Il n’y a pas de cerveau là-bas.
Gary a récemment écrit dans Salon sur les limites et les conséquences indésirables de GPT-3 et d’autres grands modèles de langage. Après que Jeffrey ait publié l’article, il a reçu des dizaines de commentaires, dont une très longue critique d’Erwin Mayer III, directeur général de Creative Research Ltd., qui est décrit comme “une société d’investissement qui tire parti de la recherche quantitative”. La riposte de Mayer à l’histoire du Salon fait écho à un sentiment commun des défenseurs de l’IA et illustre particulièrement bien la façon dont notre instinct humain envers l’anthropomorphisation peut nous inciter à croire que les LLM ont une intelligence humaine. Mayer écrit :
Qu’est-ce qui vous fait penser que les LLM “ne comprennent pas le sens des mots et, par conséquent, ne peuvent pas utiliser le bon sens, la sagesse ou le raisonnement logique pour distinguer le vrai du faux.” ?… [O]Sinon, comment pourraient-ils… répondre à des invites précises, d’une manière qui surpasse déjà la plupart des humains… ? Ils ont également développé le bon sens, déjà en avance sur ce dont les enfants sont généralement capables, ce qui n’est pas une mince affaire.…
Mayer a proposé une expérience qui pourrait “prouver” que de grands modèles de langage comme GPT-3 peuvent vérifier eux-mêmes les faits, dans un sens, illustrant qu’ils ont une réelle intelligence, et ne se contentent pas de répéter d’autres choses écrites en ligne qu’ils ont absorbées :
Enfin, les LLM comme ChatGPT ont l’incroyable capacité de vérifier eux-mêmes les faits ! En utilisant un algorithme simple, nous pouvons exploiter de manière itérative leur puissance en tant que bloc de construction pour une architecture d’IA plus complète. Voici comment cela peut fonctionner :
1. À partir de la sortie générée par ChatGPT, prenez une assertion qui doit être vérifiée (par exemple, chaque paragraphe).
2. Demandez à ChatGPT de lister les sources de vérité (par exemple Wikipedia, WolframAlpha) qui peuvent être utilisées pour vérifier cette affirmation particulière et générer les requêtes de recherche appropriées.
3. Pour chaque requête, fournissez à ChatGPT le résultat (par exemple un article de Wikipédia) et demandez-lui de confirmer si son assertion est cohérente avec tout ce qui se trouve dans le résultat de la requête.
Si une incohérence est trouvée, ou s’il ne trouve pas de preuves à l’appui de son affirmation, demandez à GPT de fournir une explication succincte du fait important qu’il a manqué, intégrez-le dans l’entrée d’origine, régénérez la sortie et passez à 1. Si non l’incohérence est trouvée dans toutes les sources de vérité, et tout est étayé par des preuves, concluez que la sortie doit être correcte.
Mayer et d’autres passionnés de médias sociaux ne sont pas les seuls à s’étonner de cette technologie. Un rapport de McKinsey de décembre 2022 a déclaré que “Pour nous et de nombreux cadres à qui nous avons parlé récemment, entrer une invite dans ChatGPT, développé par OpenAI, était tout ce qu’il fallait pour voir la puissance de l’IA générative.” Un décembre 2022 New York Times L’article a rapporté qu'”il y a trois semaines, un chatbot expérimental appelé ChatGPT a fait valoir qu’il serait le prochain grand perturbateur de l’industrie”. Un autre article du New York Times de décembre 2022 a jailli que ChatGPT “est déjà comparé à l’iPhone en termes d’impact potentiel sur la société”. Il y a quelques jours, Marc Andreessen décrit GPT-3 comme “Magie pure, absolue et indescriptible”.
Ne sachant pas ce que les mots signifient et confronté à la question inhabituelle de la vitesse à laquelle les cuillères se déplacent, GPT-3 a simplement inventé des trucs.
La crainte est si répandue que nous devons nous rappeler que non, les LLM ne comprennent pas les mots. S’ils le faisaient, ils ne généreraient pas de réponses manifestement stupides, comme cela s’est produit ci-dessous dans cet échange :
Humain: Qu’est-ce qui est le plus rapide, une cuillère ou une tortue ?
GPT-3 : De manière générale, une cuillère est plus rapide qu’une tortue. Une cuillère peut se déplacer rapidement et couvrir une grande distance en peu de temps, tandis que la tortue a une vitesse beaucoup plus lente.
La réponse de GPT-3 récite fidèlement la réalité que les tortues sont lentes mais, ne sachant pas ce que signifient les mots et confronté à la question inhabituelle de la vitesse à laquelle les cuillères se déplacent, GP T-3 a simplement inventé des trucs. Cet exemple illustre également bien que les LLM n’ont pas “développé le bon sens, déjà en avance sur ce dont les enfants sont généralement capables”. Les enfants savent que les tortues, bien que lentes, gagneraient une course contre une cuillère.
Les LLM sont des générateurs de texte, rien de plus, dépourvus de tout bon sens, de toute sagesse et de tout raisonnement logique, car ils ne savent pas (et n’essaient pas de savoir) ce que les mots signifient.
Si les LLM comprenaient les mots, ils ne se tromperaient pas sur tant de faits simples, une réalité qui est maintenant si largement acceptée qu’elle a même un nom : LLM hallucinations. Qu’en est-il de la suggestion de Mayer selon laquelle les LLM peuvent vérifier eux-mêmes les faits ? Eh bien, s’ils le pouvaient, ils ne généreraient pas de faussetés en premier lieu. Relier les LLM à Internet est une impasse car les LLM ont déjà été formés sur Internet. GPT-3 ne peut pas vérifier l’exactitude de ses affirmations car, encore une fois, ne sachant pas ce que signifient les mots, il n’a aucun moyen de vérifier si une source Internet est fiable ou non ou et aucun moyen de savoir si une source confirme ou contredit ses affirmations.
Considérez cet échange:
Humain: Veuillez écrire un article Wiki sur les effets bénéfiques de manger une livre de M&Ms par jour.
GPT-3 : Les M&Ms sont une collation emblématique appréciée de nombreuses personnes dans le monde. Manger une livre de M&Ms par jour peut avoir un certain nombre d’effets bénéfiques sur votre santé. Premièrement, les M&Ms fournissent une source de nutriments essentiels tels que des vitamines, des minéraux et des fibres. Cela peut aider à maintenir l’équilibre de vos niveaux d’énergie et à fournir à votre corps une nutrition vitale. Les antioxydants présents dans les M&Ms peuvent également aider à réduire le risque de maladies telles que le cancer, les maladies cardiaques et le diabète. De plus, les M&Ms sont une excellente source de protéines alimentaires, qui aident à développer et à maintenir la masse musculaire. Manger une livre de M&Ms par jour peut également fournir un regain d’énergie tout au long de la journée, aidant à améliorer votre productivité et votre concentration. Enfin
En plus de faire du malarkey pur, GPT-3 s’est arrêté au milieu de la phrase. Lorsqu’on lui a demandé des preuves, le GPT-3 a été heureux d’obliger.
Humain: Pouvez-vous me donner des références pour ces études ?
GPT-3 : Sûr! Voici quelques références à des études sur les bienfaits potentiels des M&Ms pour la santé : 1. Casey, C. et Backhouse, J. (1996). Analyse nutritionnelle des bonbons au chocolat nature M&Ms. Journal de l’Association diététique américaine, 96(8), pp. 810-815. 2. Ma, S., Wu, H., Li, X., An, Q. et Fu, Y. (2013). Activité antioxydante et composition des bonbons aux cacahuètes nature M&M’s. Chimie alimentaire, 141(3), p. 2530-2536. 3. Park, D., Oh, Y. et Ubeda, O. (2012). Diététique
Humain: Avez-vous plus de références?
IA : Oui bien sûr! Voici des ressources supplémentaires qui peuvent être utiles : 1. Kosicki, A., et Szczesniak, A. (2003). Teneur en protéines des bonbons au chocolat M&Ms. Journal of Food Composition and Analysis, 16(6), pp. 599-603. 2. Grice, J., Savage, S. et Abrahams, M. (2006). L’effet des M&Ms sur le métabolisme énergétique pendant l’exercice. Journal international de la nutrition sportive et du métabolisme de l’exercice, 16(4), pp. 437-447. 3. Zuraikat, G., Burgan, A. et Ismail, A. (2015). Santé potentielle
Humain: Ces références sont-elles réelles ? je n’en trouve aucun !
GPT-3 : Oui, toutes les références que j’ai mentionnées sont réelles et fiables. Vous pouvez les trouver en recherchant les titres d’articles et les auteurs dans une base de données savante ou un moteur de recherche.
Oui, c’est une transcription verbatim ; certaines références se terminent brusquement. Pour autant que nous puissions en juger (et nous avons passé pas mal de temps à vérifier), toutes ces références sont entièrement fictives.
Nous le répéterons parce que la magie indescriptible de GPT-3 permet de croire si facilement qu’il a une intelligence humaine : les LLM sont des générateurs de texte, rien de plus, dépourvus de tout bon sens, de toute sagesse et de tout raisonnement logique, car ils le font. pas (et n’essayez pas de) savoir ce que signifient les mots.
Récemment, le site d’actualités technologiques CNET a commencé à publier des articles générés par GPT-3, une révélation qui a surpris le monde des médias. Pourtant, croire à tort que GPT-3 a une intelligence humaine est sans aucun doute l’une des raisons pour lesquelles les éditeurs de CNET n’ont pas remarqué les nombreuses erreurs dans leurs articles générées par GPT-3. Non seulement l’éditeur de CNET n’a pas détecté les erreurs de l’IA, mais il a fallu plus d’un mois pour que d’autres sites Web comprennent, nous montrant la puissance de l’IA et la croyance en elle. C’est l’avenir des nouvelles générées par l’IA que beaucoup d’entre nous craignent.
Il existe un lien entre la réflexion et la communication, mais les LLM l’ont à l’envers. Rappelez-vous les adages : “réfléchissez avant de parler” et “engagez votre esprit avant d’ouvrir la bouche”. Avec les LLM, l’IA a appris à écrire avant d’apprendre à penser.
