Les chercheurs ont généré des images à partir du bruit, en utilisant des ordres de grandeur d’énergie inférieurs à ceux requis par les modèles d’IA générative actuels.
Les réseaux neuronaux peuvent générer des images, mais à un coût énergétique par rapport aux systèmes basés sur le calcul probabiliste. (Crédit photo : Eugene Mymrin via Getty Images) Abonnez-vous à notre newsletter
Des scientifiques ont construit un « ordinateur thermodynamique » capable de produire des images à partir de perturbations aléatoires dans les données, c’est-à-dire le bruit. Ce faisant, ils ont imité les capacités de l’intelligence artificielle (IA) générative des réseaux neuronaux – des ensembles d’algorithmes d’apprentissage automatique inspirés du cerveau.
Au-dessus des températures du zéro absolu, le monde est animé par des fluctuations d’énergie appelées bruit thermique, qui se manifestent par le mouvement des atomes et des molécules, des renversements à l’échelle atomique pour la propriété quantique qui confère le magnétisme, etc.
Les systèmes d’IA actuels – comme la plupart des autres systèmes informatiques actuels – génèrent des images à l’aide de puces informatiques où l’énergie nécessaire pour inverser les bits dépasse la quantité d’énergie présente dans les fluctuations aléatoires du bruit thermique, rendant le bruit négligeable.
Mais un nouvel « ordinateur thermodynamique génératif » fonctionne en exploitant le bruit du système plutôt qu’en dépit de lui, ce qui signifie qu’il peut accomplir des tâches informatiques avec des ordres de grandeur d’énergie inférieurs à ceux requis par les systèmes d’IA typiques. Les scientifiques ont exposé leurs découvertes dans une nouvelle étude publiée le 20 janvier dans la revue Physical Review Letters.
Stephen Whitelam, scientifique principal à la Molecular Foundry du Lawrence Berkeley National Laboratory et auteur de la nouvelle étude, a établi une analogie avec les bateaux en mer. Ici, les vagues jouent le rôle du bruit thermique, et l’informatique conventionnelle peut être comparée à un paquebot qui « fonce comme s’il s’en fichait – très efficace, mais très coûteux », a-t-il déclaré.
Si vous réduisiez la consommation d’énergie de l’informatique conventionnelle à celle comparable au bruit thermique, ce serait comme essayer de diriger un canot avec un moteur hors-bord sur l’océan. « C’est beaucoup plus difficile », a-t-il expliqué à Live Science, et exploiter le bruit dans l’informatique thermodynamique peut aider, comme « un surfeur exploitant la puissance des vagues ».
L’informatique conventionnelle fonctionne avec des valeurs binaires définies – 1 et 0. Cependant, un nombre croissant de recherches au cours de la dernière décennie a mis en évidence que l’on peut obtenir plus de résultats pour le même coût en termes de ressources comme l’électricité consommée pour effectuer un calcul, lorsque l’on travaille avec des probabilités de valeurs.
Les gains d’efficacité sont particulièrement prononcés pour certains types de problèmes dits « d’optimisation », où vous voulez obtenir le maximum en investissant le minimum – visiter le plus de rues pour livrer le courrier en parcourant le moins de kilomètres, par exemple. L’informatique thermodynamique pourrait être considérée comme un type d’informatique probabiliste qui utilise les fluctuations aléatoires du bruit thermique pour alimenter le calcul.
Génération d’images par informatique thermodynamique
Des chercheurs de la Normal Computing Corporation à New York, qui n’étaient pas directement impliqués dans ce travail de génération d’images, ont construit quelque chose qui ressemble à un ordinateur thermodynamique, en utilisant un réseau de circuits liés par d’autres circuits, le tout fonctionnant à basse énergie, comparable au bruit thermique. Les circuits de liaison pouvaient alors être programmés pour renforcer ou affaiblir la connexion qu’ils formaient entre les circuits qu’ils reliaient – les circuits « nœuds ».
Appliquer toute sorte de tension au système établirait une série de tensions aux différents nœuds, leur attribuant des valeurs qui finiraient par s’apaiser à mesure que la tension appliquée serait retirée et que les circuits reviendraient à l’équilibre.
Cependant, même à l’équilibre, le bruit dans les circuits provoque des fluctuations des valeurs des nœuds d’une manière très spécifique déterminée par la force programmée des connexions, appelées forces de couplage. Ainsi, les forces de couplage pourraient être programmées de manière à poser efficacement une question à laquelle les fluctuations d’équilibre résultantes répondent. Les chercheurs de Normal Computing ont montré qu’ils pouvaient programmer les forces de couplage de sorte que les fluctuations de nœuds à l’équilibre résultantes résolvent l’algèbre linéaire.
Bien que la gestion de ces connexions offre un certain contrôle sur la question à laquelle répondent les fluctuations d’équilibre des valeurs des nœuds, elle ne fournit pas de moyen de changer le type de question. Whitelam s’est demandé si s’éloigner de l’équilibre thermique pourrait aider les chercheurs à concevoir un ordinateur capable de répondre à des types de questions fondamentalement différents, et si cela serait plus pratique, car il faut du temps pour atteindre l’équilibre.
En envisageant les types de calculs qui pourraient être rendus possibles en s’éloignant de l’équilibre, Whitelam s’est souvenu de recherches du milieu des années 2010, qui montraient que si l’on prenait une image et qu’on y ajoutait du bruit jusqu’à ce qu’il ne reste aucune trace de l’image originale, un réseau neuronal pouvait être entraîné pour inverser ce processus et ainsi récupérer l’image. Si on l’entraînait sur une gamme de ces images disparaissant, le réseau neuronal serait capable de générer une gamme d’images à partir d’un point de départ de bruit aléatoire, y compris certaines images externes à la bibliothèque sur laquelle il avait été entraîné. Ces modèles de diffusion semblaient à Whitelam « un point de départ naturel » pour un ordinateur thermodynamique, la diffusion elle-même étant un processus statistique enraciné dans la thermodynamique.
Alors que l’informatique conventionnelle fonctionne de manière à réduire le bruit à des niveaux négligeables, Whitelam a noté que de nombreux algorithmes utilisés pour entraîner les réseaux neuronaux fonctionnent en réintroduisant du bruit. « Ne serait-ce pas beaucoup plus naturel dans un cadre thermodynamique où l’on obtient le bruit gratuitement ? » a-t-il noté à partir d’un compte-rendu de conférence.
Empruntant à des principes ancestraux
La façon dont les choses évoluent sous l’influence d’un bruit important peut être calculée à partir de l’équation de Langevin, qui date de 1908. La manipulation de cette équation peut donner des probabilités pour chaque étape du processus par lequel une image devient voilée par le bruit. En un sens, elle fournit la probabilité pour chaque pixel de passer à la mauvaise couleur lorsqu’une image est soumise au bruit thermique.
À partir de là, il est possible de calculer les forces de couplage nécessaires – par exemple, les forces de connexion des circuits – pour inverser le processus, en éliminant le bruit étape par étape. Cela génère une image – quelque chose que Whitelam a démontré dans une simulation numérique à partir d’une bibliothèque d’images contenant un “0”, un “1” et un “2”. L’image générée peut être l’une de la base de données d’entraînement originale ou une sorte de supposition, et un avantage des imperfections dans l’entraînement signifie qu’il est possible de trouver de nouvelles images qui ne font pas partie du jeu de données original.
Ramy Shelbaya, PDG d’une entreprise produisant des générateurs de nombres aléatoires quantiques, Quantum Dice, qui n’était pas impliqué dans l’étude, a qualifié ces découvertes d’« importantes ». Il a fait référence à des domaines particuliers où les méthodes traditionnelles commencent à avoir du mal à suivre les exigences toujours croissantes de modèles plus puissants. L’entreprise de Shelbaya produit un type de matériel informatique probabiliste utilisant des nombres aléatoires générés quantiquement et, à ce titre, il a trouvé « encourageant de voir l’intérêt toujours croissant pour l’informatique probabiliste et les divers paradigmes informatiques qui y sont étroitement liés ».
Il a également souligné un avantage potentiel au-delà des économies d’énergie : « Cet article montre également comment les approches inspirées de la physique peuvent fournir une interprétation fondamentale claire à un domaine où les modèles « boîte noire » ont dominé, fournissant des informations essentielles sur le processus d’apprentissage », a-t-il déclaré à Live Science par e-mail.
En ce qui concerne l’IA générative, la récupération de trois chiffres appris à partir du bruit peut sembler relativement rudimentaire. Cependant, Whitelam a souligné que le concept d’informatique thermodynamique n’a encore que quelques années.
« En regardant l’histoire de l’apprentissage automatique et comment il a finalement été adapté à des tâches plus grandes et plus impressionnantes », a-t-il dit, « je suis curieux de savoir si le matériel thermodynamique, même dans un sens conceptuel, peut être adapté de la même manière. »
Sourse: www.livescience.com