Le temps, les efforts et l’argent nécessaires pour former des modèles de réseaux neuronaux de plus en plus complexes montent en flèche à mesure que les chercheurs repoussent les limites de l’apprentissage automatique. L’apprentissage profond analogique, une nouvelle branche de l’intelligence artificielle, promet des calculs plus rapides avec une consommation d’énergie moindre.
Les résultats de cette recherche ont été publiés dans la revue “Science”. Les résistances programmables sont les éléments clés de l’apprentissage profond analogique, tout comme les transistors sont les éléments de base des processeurs numériques. En répétant des réseaux de résistances programmables en couches complexes, les chercheurs peuvent créer un réseau de “neurones” et de “synapses” artificiels analogiques qui exécutent des calculs tout comme un réseau neuronal numérique.
Ce réseau peut ensuite être entraîné à réaliser des tâches complexes d’IA comme la reconnaissance d’images et le traitement du langage naturel.
Une équipe multidisciplinaire de chercheurs du MIT a entrepris de repousser les limites de vitesse d’un type de synapse analogique de fabrication humaine qu’ils avaient précédemment développé. Ils ont utilisé un matériau inorganique pratique dans le processus de fabrication qui permet à leurs dispositifs de fonctionner 1 million de fois plus vite que les versions précédentes, ce qui est aussi environ 1 million de fois plus rapide que les synapses du cerveau humain.
En outre, ce matériau inorganique rend également la résistance extrêmement économe en énergie. Contrairement aux matériaux utilisés dans la version précédente de leur dispositif, le nouveau matériau est compatible avec les techniques de fabrication du silicium. Ce changement a permis de fabriquer des dispositifs à l’échelle du nanomètre et pourrait ouvrir la voie à une intégration dans le matériel informatique commercial pour les applications d’apprentissage profond.
“Grâce à cette idée clé et aux techniques de nanofabrication très puissantes dont nous disposons au MIT.nano, nous avons pu rassembler les pièces et démontrer que ces dispositifs sont intrinsèquement très rapides et fonctionnent avec des tensions raisonnables”, a déclaré l’auteur principal, Jesus A. del Alamo, professeur Donner au département d’ingénierie électrique et d’informatique (EECS) du MIT. “Ce travail a vraiment placé ces dispositifs à un point où ils semblent maintenant vraiment prometteurs pour les applications futures.”
“Le mécanisme de fonctionnement du dispositif est l’insertion électrochimique du plus petit ion, le proton, dans un oxyde isolant pour moduler sa conductivité électronique. Comme nous travaillons avec des dispositifs très minces, nous pouvons accélérer le mouvement de cet ion en utilisant un champ électrique puissant et pousser ces dispositifs ioniques jusqu’au régime de fonctionnement nanoseconde”, a expliqué l’auteur principal Bilge Yildiz, professeur Breene M. Kerr dans les départements de science et d’ingénierie nucléaires et de science et d’ingénierie des matériaux.
“Le potentiel d’action dans les cellules biologiques augmente et diminue avec une échelle de temps de quelques millisecondes puisque la différence de tension d’environ 0,1 volt est limitée par la stabilité de l’eau”, a déclaré l’auteur principal Ju Li, professeur de science et d’ingénierie nucléaires à la Battelle Energy Alliance et professeur de science et d’ingénierie des matériaux, “Ici, nous appliquons jusqu’à 10 volts sur un film de verre solide spécial d’une épaisseur nanométrique qui conduit les protons, sans l’endommager de façon permanente. Et plus le champ est fort, plus les dispositifs ioniques sont rapides.”
Ces résistances programmables augmentent considérablement la vitesse à laquelle un réseau neuronal est formé, tout en réduisant drastiquement le coût et l’énergie nécessaires à cette formation. Cela pourrait aider les scientifiques à développer beaucoup plus rapidement des modèles d’apprentissage profond, qui pourraient ensuite être appliqués à des utilisations telles que les voitures à conduite autonome, la détection des fraudes ou l’analyse des images médicales.
“Une fois que vous aurez un processeur analogique, vous ne serez plus en train de former des réseaux sur lesquels tout le monde travaille. Vous formerez des réseaux d’une complexité sans précédent, que personne d’autre ne peut se permettre, et vous les dépasserez donc tous largement. En d’autres termes, il ne s’agit pas d’une voiture plus rapide, mais d’un vaisseau spatial”, a ajouté l’auteur principal et post-doc du MIT, Murat Onen.
