Le temps, les efforts et l’argent nécessaires pour former des modèles de réseaux neuronaux de plus en plus complexes augmentent à mesure que les chercheurs repoussent les limites de l’apprentissage automatique. L’apprentissage profond analogique, une nouvelle branche de l’intelligence artificielle, promet des calculs plus rapides avec une consommation d’énergie moindre.
Les résultats de cette recherche ont été publiés dans la revue “Science”. Les résistances programmables sont les éléments clés de l’apprentissage profond analogique, tout comme les transistors sont les éléments de base des processeurs numériques. En répétant des réseaux de résistances programmables en couches complexes, les chercheurs peuvent créer un réseau de “neurones” et de “synapses” artificiels analogiques qui exécutent des calculs tout comme un réseau neuronal numérique. Ce réseau peut ensuite être entraîné à réaliser des tâches complexes d’intelligence artificielle, comme la reconnaissance d’images et le traitement du langage naturel.
Une équipe multidisciplinaire de chercheurs du MIT a entrepris de repousser les limites de vitesse d’un type de synapse analogue de fabrication humaine qu’ils avaient précédemment développé. Ils ont utilisé un matériau inorganique pratique dans le processus de fabrication qui permet à leurs dispositifs de fonctionner 1 million de fois plus vite que les versions précédentes, ce qui est aussi environ 1 million de fois plus rapide que les synapses du cerveau humain.
De plus, ce matériau inorganique rend également la résistance extrêmement économe en énergie. Contrairement aux matériaux utilisés dans la version précédente de leur dispositif, le nouveau matériau est compatible avec les techniques de fabrication du silicium. Ce changement a permis de fabriquer des dispositifs à l’échelle du nanomètre et pourrait ouvrir la voie à une intégration dans le matériel informatique commercial pour les applications d’apprentissage profond.
“Avec cette idée clé, et les techniques de nanofabrication très puissantes dont nous disposons au MIT.nano, nous avons pu rassembler ces pièces et démontrer que ces dispositifs sont intrinsèquement très rapides et fonctionnent avec des tensions raisonnables”, a déclaré l’auteur principal Jesus A. del Alamo, professeur Donner au département de génie électrique et d’informatique (EECS) du MIT. “Ce travail a vraiment placé ces dispositifs à un point où ils semblent maintenant vraiment prometteurs pour les applications futures.”
“Le mécanisme de fonctionnement du dispositif est l’insertion électrochimique du plus petit ion, le proton, dans un oxyde isolant pour moduler sa conductivité électronique. Comme nous travaillons avec des dispositifs très minces, nous pouvons accélérer le mouvement de cet ion en utilisant un champ électrique puissant et faire passer ces dispositifs ioniques à un régime de fonctionnement de l’ordre de la nanoseconde”, explique l’auteur principal Bilge Yildiz, titulaire de la chaire Breene M. Kerr dans les départements de science et d’ingénierie nucléaires et de science et d’ingénierie des matériaux.
“Le potentiel d’action dans les cellules biologiques augmente et diminue avec une échelle de temps de quelques millisecondes, car la différence de tension d’environ 0,1 volt est limitée par la stabilité de l’eau”, a déclaré l’auteur principal Ju Li, professeur de science et de génie nucléaires à la Battelle Energy Alliance et professeur de science et de génie des matériaux. “Ici, nous appliquons jusqu’à 10 volts sur un film de verre solide spécial d’une épaisseur nanométrique qui conduit les protons, sans l’endommager de façon permanente. Et plus le champ est fort, plus les dispositifs ioniques sont rapides.”
Ces résistances programmables augmentent considérablement la vitesse à laquelle un réseau neuronal est formé, tout en réduisant drastiquement le coût et l’énergie pour effectuer cette formation. Cela pourrait aider les scientifiques à développer des modèles d’apprentissage profond beaucoup plus rapidement, qui pourraient ensuite être appliqués à des utilisations telles que les voitures à conduite autonome, la détection des fraudes ou l’analyse des images médicales.
“Une fois que vous aurez un processeur analogique, vous ne formerez plus des réseaux sur lesquels tout le monde travaille. Vous formerez des réseaux d’une complexité sans précédent que personne d’autre ne peut se permettre, et vous les dépasserez donc tous largement. En d’autres termes, il ne s’agit pas d’une voiture plus rapide, mais d’un vaisseau spatial”, a ajouté l’auteur principal et post-doc du MIT, Murat Onen.
