À partir d’un signal écrit, une nouvelle génération de modèles d’intelligence artificielle (IA) peut créer des visuels “créatifs” à la demande. Imagen, MidJourney et DALL-E 2 ne sont que quelques exemples de la façon dont les nouvelles technologies modifient la création de contenus créatifs, avec des conséquences sur le droit d’auteur et la propriété intellectuelle. Si les résultats de ces modèles sont souvent impressionnants, il est difficile de déterminer exactement comment ils arrivent à leurs conclusions. Des chercheurs américains ont affirmé la semaine dernière que le modèle de DALL-E 2 pourrait avoir établi son propre langage caché pour communiquer sur les objets.
La recherche a été menée par Giannis Daras et Alexandros G. Dimakis, tous deux étudiants à l’Université du Texas à Austin. En demandant à l’IA de créer des photos avec des légendes textuelles, puis en réinjectant ces légendes dans le système, les chercheurs ont découvert que DALL-E 2 pense que “Apoploe vesrreaitais” signifie “oiseaux”, “contarra ccetnxniams luryca tanniounons” signifie “insectes ou parasites”, “vicootes” signifie “légumes” et “wa ch zod rea” signifie “créatures marines qu’une baleine pourrait manger”.
DALLE-2 a un langage secret.
“Apoploe vesrreaitais” signifie “oiseaux”.
“Contarra ccetnxniams luryca tanniounons” signifie insectes ou nuisibles.L’invite : “Apoploe vesrreaitais eating Contarra ccetnxniams luryca tanniounons” donne des images d’oiseaux mangeant des insectes.
Un fil (1/n) ???? pic.twitter.com/VzWfsCFnZo
– Giannis Daras (@giannis_daras) 31 mai 2022
Ces déclarations sont intrigantes, et si elles sont exactes, elles pourraient avoir des ramifications importantes pour la sécurité et l’interprétabilité de ce type d’énorme modèle d’IA. Il est peu probable que DALL-E 2 comporte un langage caché.
“Il serait peut-être plus exact de dire qu’il possède son propre vocabulaire – mais même dans ce cas, nous ne pouvons pas en être sûrs”, écrit Daras dans un rapport publié dans .
Pour commencer, il est difficile de valider les affirmations concernant DALL-E 2 et d’autres énormes modèles d’IA à ce stade, car seuls quelques chercheurs et créateurs y ont accès. M. Daras ajoute que toutes les photographies publiées doivent être prises avec un grain de sel, car elles ont été sélectionnées par un humain parmi un grand nombre d’images de sortie d’IA.
Une théorie veut que les phrases en charabia soient dérivées du vocabulaire non-anglais. Apoploe, par exemple, qui semble évoquer des images d’oiseaux, est lié à Apodidae, le nom scientifique d’une famille d’espèces d’oiseaux en latin. DALL-E 2, par exemple, a été entraîné sur un large éventail de données extraites d’Internet, y compris un grand nombre de termes non anglais.
Le fait que les modèles linguistiques de l’IA n’interprètent pas le texte de la même manière que les humains soutient cette théorie. Au lieu de cela, avant d’analyser le texte, ils le décomposent en “jetons”, a déclaré M. Daras. Traiter chaque mot comme un jeton peut sembler simple, mais cela peut poser problème lorsque des jetons identiques ont des significations différentes. Par exemple, le mot “match” n’a pas la même signification selon qu’il s’agit de jouer au tennis ou d’allumer un feu, a expliqué M. Daras.
En revanche, le fait de traiter chaque caractère comme un jeton permet de réduire le nombre de jetons viables, mais chacun d’entre eux transmet beaucoup moins d’informations pertinentes.
DALL-E 2 utilise le codage par paire d’octets (BPE), qui est une solution intermédiaire. L’examen des représentations BPE pour certains des mots de charabia révèle que cela pourrait être un aspect clé dans le déchiffrage du code. Quoi qu’il en soit, aucune de ces possibilités ne constitue une explication complète de ce qui se passe. Lorsque des caractères individuels sont retirés de ces phrases, par exemple, les images résultantes semblent être corrompues de manière très précise. Les mots individuels de charabia ne se combinent pas toujours pour former des visuels composés logiques, il semble.
Globalement, le langage caché de DALL-E 2 pose des questions quant à son interprétabilité. Les chercheurs, dans leur dernier rapport, souhaitent que ces modèles agissent comme des humains, mais le fait de voir une production organisée en réponse au charabia défie leurs attentes.
Cependant, un autre Twitter thread a rejeté les récentes affirmations, en déclarant que ‘Contarra ccetnxniams luryca tanniounons’ dans DALL-E 2 ne limite pas la recherche aux insectes et aux nuisibles, mais affiche également des images d’autres animaux.
