Ce modèle d’intelligence artificielle a-t-il inventé son propre langage secret ?

À partir d’un signal écrit, une nouvelle génération de modèles d’intelligence artificielle (IA) peut produire des visuels “créatifs” à la demande. Imagen, MidJourney et DALL-E 2 ne sont que quelques exemples de la manière dont les nouvelles technologies changent la façon dont le contenu créatif est créé, avec des ramifications pour le droit d’auteur et la propriété intellectuelle. Si les résultats de ces modèles sont souvent impressionnants, il est difficile de déterminer exactement comment ils arrivent à leurs conclusions. Des chercheurs américains ont affirmé la semaine dernière que le modèle de DALL-E 2 pourrait avoir établi son propre langage caché pour communiquer sur les objets.

Les recherches ont été menées par Giannis Daras et Alexandros G. Dimakis, tous deux étudiants à l’Université du Texas à Austin. En demandant à l’IA de créer des photos avec des légendes textuelles, puis en réinjectant ces légendes dans le système, les chercheurs ont découvert que DALL-E 2 pense que “Apoploe vesrreaitais” signifie “oiseaux”, “contarra ccetnxniams luryca tanniounons” signifie “insectes ou parasites”, “vicootes” signifie “légumes” et “wa ch zod rea” signifie “créatures marines qu’une baleine pourrait manger”.

Ces déclarations sont intrigantes, et si elles sont exactes, elles pourraient avoir des ramifications importantes pour la sécurité et l’interprétabilité de ce type d’énorme modèle d’IA. Il est peu probable que DALL-E 2 comporte un langage caché. Il serait peut-être plus exact de dire qu’il possède son propre vocabulaire, mais même dans ce cas, nous ne pouvons pas en être sûrs”, écrit M. Daras dans un rapport publié dans …

Pour commencer, il est difficile de valider les affirmations concernant DALL-E 2 et d’autres modèles d’IA géants à ce stade, car seuls quelques chercheurs et créateurs y ont accès. M. Daras ajoute que toutes les photographies publiées doivent être prises avec un grain de sel, car elles ont été sélectionnées par un humain parmi un grand nombre d’images de sortie d’IA.

Une théorie veut que les phrases en charabia soient dérivées du vocabulaire non anglais. Apoploe, par exemple, qui semble évoquer des images d’oiseaux, est lié à Apodidae, le nom scientifique d’une famille d’espèces d’oiseaux en latin. DALL-E 2, par exemple, a été entraîné sur un large éventail de données extraites d’Internet, y compris un grand nombre de termes non anglais. Le fait que les modèles linguistiques de l’IA n’interprètent pas le texte de la même manière que les humains soutient cette théorie. Au lieu de cela, avant d’analyser le texte, ils le décomposent en “jetons”, a déclaré M. Daras. Traiter chaque mot comme un jeton peut sembler simple, mais cela peut poser problème lorsque des jetons identiques ont des significations différentes. Par exemple, le mot “match” n’a pas la même signification lorsqu’il s’agit de jouer au tennis ou d’allumer un feu, a expliqué M. Daras.

En revanche, le fait de traiter chaque caractère comme un jeton permet de réduire le nombre de jetons viables, mais chacun d’entre eux transmet beaucoup moins d’informations pertinentes.

DALL-E 2 utilise le codage par paire d’octets (BPE), qui est une solution intermédiaire. L’examen des représentations BPE de certains mots du charabia révèle qu’il pourrait s’agir d’un aspect clé du déchiffrage du code. Quoi qu’il en soit, aucune de ces possibilités ne constitue une explication complète de ce qui se passe. Lorsque des caractères individuels sont retirés de ces phrases, par exemple, les images résultantes semblent être corrompues de manière très précise. Les mots individuels de charabia ne se combinent pas toujours pour former des visuels composés logiques, il semble.

Dans l’ensemble, le langage caché de DALL-E 2 pose des problèmes d’interprétabilité. Les chercheurs, à travers leur dernier rapport, veulent que ces modèles agissent comme des humains, mais voir une production organisée en réponse à du charabia défie leurs attentes.

Cependant, un autre fil Twitter a rejeté les récentes affirmations, en déclarant que “Contarra ccetnxniams luryca tanniounons’ dans DALL-E 2 ne limite pas la recherche aux insectes et aux nuisibles, mais affiche également des images d’autres animaux…”