Rêve profond

DeepDream est un programme de vision par ordinateur créé par l'ingénieur de Google Alexander Mordvintsev qui utilise un réseau neuronal convolutionnel pour trouver et améliorer les motifs dans les images via la paréidolie algorithmique , créant ainsi une apparence onirique rappelant une expérience psychédélique dans les images délibérément surtraitées.

Le programme de Google a popularisé le terme « rêve » (profond) pour désigner la génération d’images qui produisent les activations souhaitées dans un réseau profond formé , et le terme fait désormais référence à un ensemble d’approches connexes.

Le logiciel DeepDream, issu d'un réseau convolutionnel profond nommé « Inception » d'après le film du même nom , a été développé pour le ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) en 2014 et publié en juillet 2015.

L'idée et le nom du rêve sont devenus populaires sur Internet en 2015 grâce au programme DeepDream de Google. L'idée remonte au début de l'histoire des réseaux neuronaux, et des méthodes similaires ont été utilisées pour synthétiser des textures visuelles. Des idées de visualisation similaires ont été développées (avant les travaux de Google) par plusieurs groupes de recherche.

Après que Google a publié ses techniques et rendu son code open source , un certain nombre d'outils sous forme de services Web, d'applications mobiles et de logiciels de bureau sont apparus sur le marché pour permettre aux utilisateurs de transformer leurs propres photos.

Le logiciel est conçu pour détecter des visages et d'autres motifs dans les images, dans le but de classer automatiquement les images. Cependant, une fois formé, le réseau peut également être exécuté en sens inverse, en lui demandant d'ajuster légèrement l'image d'origine afin qu'un neurone de sortie donné (par exemple celui des visages ou de certains animaux) produise un score de confiance plus élevé. Cela peut être utilisé pour les visualisations afin de mieux comprendre la structure émergente du réseau neuronal, et constitue la base du concept DeepDream. Cette procédure d'inversion n'est jamais parfaitement claire et sans ambiguïté car elle utilise un processus de mappage un-à-plusieurs . Cependant, après suffisamment de réitérations, même les images initialement dépourvues des caractéristiques recherchées seront suffisamment ajustées pour qu'une forme de paréidolie en résulte, par laquelle des images psychédéliques et surréalistes sont générées algorithmiquement. L'optimisation ressemble à une rétropropagation ; cependant, au lieu d'ajuster les poids du réseau, les poids sont maintenus fixes et l'entrée est ajustée.

Par exemple, une image existante peut être modifiée de manière à ce qu'elle ressemble davantage à un chat, et l'image améliorée qui en résulte peut être à nouveau introduite dans la procédure. Cette utilisation ressemble à l'activité de recherche d'animaux ou d'autres motifs dans les nuages.

L'application d'une descente de gradient indépendamment à chaque pixel de l'entrée produit des images dans lesquelles les pixels adjacents ont peu de relation et donc l'image contient trop d'informations à haute fréquence. Les images générées peuvent être grandement améliorées en incluant un a priori ou un régularisateur qui préfère les entrées qui ont des statistiques d'image naturelles (sans préférence pour une image particulière), ou qui sont simplement lisses. Par exemple, Mahendran et al. ont utilisé le régularisateur de variation totale qui préfère les images qui sont constantes par morceaux. Divers régularisateurs sont abordés plus en détail dans Yosinski et al. Une exploration visuelle approfondie des techniques de visualisation et de régularisation des caractéristiques a été publiée plus récemment.

La ressemblance citée de l'imagerie avec les hallucinations induites par le LSD et la psilocybine suggère une ressemblance fonctionnelle entre les réseaux neuronaux artificiels et des couches particulières du cortex visuel.

Les réseaux neuronaux tels que DeepDream présentent des analogies biologiques qui permettent de mieux comprendre le traitement cérébral et la formation de la conscience. Les hallucinogènes tels que le DMT modifient la fonction du système sérotoninergique présent dans les couches du cortex visuel. Les réseaux neuronaux sont entraînés sur des vecteurs d'entrée et sont modifiés par des variations internes au cours du processus d'entraînement. Les modifications d'entrée et internes représentent respectivement le traitement des signaux exogènes et endogènes dans le cortex visuel. Lorsque les variations internes sont modifiées dans les réseaux neuronaux profonds, l'image de sortie reflète ces changements. Cette manipulation spécifique démontre comment les mécanismes cérébraux internes sont analogues aux couches internes des réseaux neuronaux. Les modifications du niveau de bruit interne représentent la manière dont les hallucinogènes omettent les informations sensorielles externes, ce qui conduit les conceptions internes préconçues à influencer fortement la perception visuelle.

L'idée de rêve peut être appliquée à des neurones cachés (internes) autres que ceux de la sortie, ce qui permet d'explorer les rôles et les représentations de diverses parties du réseau. Il est également possible d'optimiser l'entrée pour satisfaire soit un seul neurone (cette utilisation est parfois appelée maximisation de l'activité) soit une couche entière de neurones.

Bien que le rêve soit le plus souvent utilisé pour visualiser des réseaux ou produire de l'art informatique, il a récemment été proposé que l'ajout d'entrées « rêvées » à l'ensemble d'entraînement peut améliorer les temps d'entraînement des abstractions en informatique.

Il a également été démontré que le modèle DeepDream avait une application dans le domaine de l’histoire de l’art .

DeepDream a été utilisé pour le clip vidéo de Foster the People pour la chanson « Doing It for the Money ».

En 2017, un groupe de recherche de l'Université du Sussex a créé une machine à hallucinations , appliquant l'algorithme DeepDream à une vidéo panoramique préenregistrée, permettant aux utilisateurs d'explorer des environnements de réalité virtuelle pour imiter l'expérience de substances psychoactives et/ou de conditions psychopathologiques. Ils ont pu démontrer que les expériences subjectives induites par la machine à hallucinations différaient significativement des vidéos de contrôle (non « hallucinogènes »), tout en présentant des similitudes phénoménologiques avec l'état psychédélique (suite à l'administration de psilocybine).

En 2021, une étude publiée dans la revue Entropy a démontré la similitude entre DeepDream et une expérience psychédélique réelle avec des preuves neuroscientifiques . Les auteurs ont enregistré l'électroencéphalographie ( EEG ) de participants humains pendant la vision passive d'un extrait de film et de son homologue généré par DeepDream. Ils ont découvert que la vidéo DeepDream déclenchait une entropie plus élevée dans le signal EEG et un niveau plus élevé de connectivité fonctionnelle entre les zones cérébrales, biomarqueurs bien connus de l'expérience psychédélique réelle.

En 2022, un groupe de recherche coordonné par l'Université de Trente a « mesuré la flexibilité cognitive et la créativité des participants après l'exposition à des vidéos panoramiques de réalité virtuelle et à leurs homologues hallucinatoires générées par l'algorithme DeepDream... après l'exposition psychédélique simulée, les individus ont présenté... une contribution atténuée du processus automatique et de la dynamique chaotique sous-jacente à leurs processus de décision, vraisemblablement en raison d'une réorganisation de la dynamique cognitive qui facilite l'exploration de stratégies de décision peu communes et inhibe les choix automatisés. »