*Cet article a été co-écrit avec Jin Hwa Lee , chercheur travaillant dans le laboratoire du professeur Saxe (The Thinking Lab, University College London) et auteur de l'article.
Dans le dernier épisode, nous avons expliqué comment la dynamique d’apprentissage de l’IA était résolue à l’aide d’équations et comment les phénomènes observés par les sciences cognitives depuis des décennies étaient systématiquement expliqués.
Dans cet épisode, nous découvrirons quel impact cet article a eu sur chaque domaine. À la fin, nous avons inclus une séance de questions-réponses avec le co-auteur, le chercheur Jinhwa Lee.
🔬 Neurosciences : De l'observation au calcul/prédiction
La simple intégration d’expériences et de théories établies séparément, telles que la théorie des étapes de Piaget et l’ordre d’apprentissage des catégories, en un seul principe constitue déjà une formidable réussite.
Une autre réussite de cet article est qu’il confère une analyse quantitative et un pouvoir prédictif aux sciences cognitives. Les sciences cognitives antérieures se limitaient à interpréter des phénomènes qui s’étaient déjà produits après coup. Cependant, il est désormais possible de calculer à l'avance quel phénomène se produira dans quelles conditions, en fonction de la formule, et de savoir quelles variables ajuster.
🤖 IA : Ajouter des explications au développement axé sur les résultats
Le document a fourni une réponse au « pourquoi » qui manque généralement dans le domaine de l’IA.
Savoir « pourquoi » n’est pas simplement une question de satisfaction intellectuelle. Si vous ne savez pas pourquoi quelque chose fonctionne, vous ne pouvez pas prédire quand il échouera et vous ne pouvez pas concevoir comment l'améliorer. C’est également la raison pour laquelle le développement de l’IA s’est jusqu’à présent largement appuyé sur des essais et des erreurs.
En particulier, cet article explique pourquoi les réseaux profonds fonctionnent mieux que les réseaux superficiels. Car il s’avère que ce n’est que dans les réseaux profonds que tous les aspects d’apprentissage décrits dans l’article précédent se produisent.
⚖️ Théorie innée vs empirisme
Cet article relance le débat sur le « caractère inné de l’intelligence », un problème rare en sciences cognitives. En d’autres termes, il s’agit de « Les humains naissent-ils avec une table rase ? »
La théorie innée est l’affirmation selon laquelle la structure cognitive humaine, ou la façon dont nous organisons les concepts et les catégories, est ancrée dans le cerveau à la naissance. En fait, les enfants acquièrent le langage et les concepts étonnamment rapidement et avec une efficacité qui ne peut être expliquée par la seule expérience.
Chomsky, un représentant de la théorie innée, a appliqué cela à l'acquisition du langage et a déclaré qu'il est impossible d'expliquer par la seule expérience comment un enfant acquiert une grammaire correcte avec seulement un apport incomplet. Cela signifie que le cerveau possède un dispositif inné d’acquisition du langage.
D’un autre côté, l’empirisme soutient que notre cerveau est une page vierge à la naissance et que toutes les structures émergent de l’expérience. Cependant, pendant longtemps, l’empirisme est resté au niveau de la simulation : « Ça marche comme ça », et il n’a pas été facile de réfuter l’argument de Chomsky.
Cet article fournit une base mathématique solide pour l’empirisme. Même à partir d’une liste complètement vierge de poids aléatoires, des catégories hiérarchiques, des typicités et des biais inductifs émergent spontanément, pour autant que la structure statistique de l’environnement et la descente de gradient soient requises. Les phénomènes que Chomsky a dit ne peuvent pas être expliqués par la seule expérience et peuvent être facilement obtenus grâce aux mathématiques de l'apprentissage.
Cependant, cet article ne soutient pas inconditionnellement l’empirisme. L'apprentissage est basé sur l'expérience, mais nécessite une certaine « structure » (par exemple, des réseaux neuronaux profonds, de faibles poids initiaux) pour que l'apprentissage se déroule de la manière décrite ci-dessus. Plutôt que de simplement dire que la théorie innée ou l’empirisme sont bons ou mauvais, cela souligne une nuance plus précise entre les deux.
🧭 En conclusion
À la suite de cet article, un article de Nature Neuroscience de 2019 rédigé par Richards, Lillicrap, Ganguli, Saxe et d'autres a proposé un cadre pour relier systématiquement les découvertes en neurosciences à la conception de l'IA. Les neurosciences et l’IA commencent à véritablement se connecter les unes aux autres.
Personnellement, ce qui était le plus impressionnant dans cet article était que les mathématiques apportaient des réponses à des questions humaines fondamentales, comme le débat entre innéisme et empirisme. Si les mathématiques expliquent le développement des concepts et des catégories, peuvent-elles aussi expliquer les émotions, la créativité et la conscience ? Si la façon dont je comprends le monde et les concepts que j'ai actuellement est une combinaison de l'environnement dans lequel j'ai vécu et d'une fatalité mathématique, alors la personne que je suis peut être le résultat d'une sorte de mathématiques.
De plus, si la façon dont l’IA a appris la langue et la façon dont j’ai appris la langue suivent les mêmes principes mathématiques, peut-on dire que l’IA comprend aussi vraiment la langue ? Par ailleurs, l’IA peut-elle être considérée comme un simple outil ? Je pense que c’est une question importante qui détient la clé pour définir la relation entre l’IA et les humains.
🎤 Demandez au chercheur
Le chercheur Jinhwa Lee, qui a co-écrit cette série, est doctorant dans le laboratoire de l’auteur Andrew Saxe. Pour conclure l'article, j'ai posé quelques questions.
T1. Comment les chercheurs en sciences du cerveau acceptent-ils cette approche mathématique ? Avez-vous l'impression d'avoir gagné en pouvoir prédictif, ou pensez-vous qu'il s'agit d'une simplification excessive ?
Bien qu'il s'agisse clairement d'une « simplification », de nombreuses personnes semblent satisfaites de la clarté du mécanisme proposé par cette approche. Lorsque nous allons au-delà de l’observation d’un phénomène (les réseaux de neurones peuvent l’apprendre, ils passent par un processus d’apprentissage similaire à celui des humains réels) et découvrons comment certains éléments d’un réseau de neurones produisent un tel phénomène, notre compréhension devient complètement différente. L’importance de ces approches physiques et mathématiques semble croître, non seulement dans les sciences du cerveau mais aussi dans l’IA en général. Une solution consiste à suivre l'intuition ou à mener des expériences répétées en modifiant les variables expérimentales pour trouver des phénomènes nouveaux et utiles, mais ne serait-il pas possible de formuler des hypothèses plus précises et de planifier des expériences pour les confirmer sur la base de cette compréhension approfondie ?
Q2. Je comprends que votre diplôme de premier cycle était en physique. Comment avez-vous commencé vos recherches sur la science du cerveau ? Je suis curieux de savoir comment vous êtes devenu intéressé pour la première fois.
Je me suis spécialisé en physique lorsque j'étais étudiant parce que j'admirais la méthodologie de la physique, mais en fait, ce qui m'a toujours intéressé et que je voulais en savoir plus, c'était la science cognitive du cerveau et les phénomènes de la vie. Lorsque j’ai suivi le cours sur le dogme de l’ADN tout en apprenant la biologie générale, je me souviens encore du sentiment de surprise ressenti en me demandant comment un mécanisme aussi complexe avait été créé au cours de l’évolution. D’un autre côté, bien que la phénoménologie ait été beaucoup étudiée dans les sciences cognitives du cerveau, j’ai senti que le mécanisme, tout comme nous comprenons l’ADN, n’est pas encore connu. Alors, je suis parti avec la vague idée que je voulais étudier le cerveau comme ça.
Q3. Quel genre de recherche faites-vous ces jours-ci ?
La question qui m'a le plus intéressé ces dernières années est de savoir comment les réseaux de neurones apprennent les généralisations systématiques. La généralisation systématique fait référence à l'apprentissage d'un concept ou d'une règle à partir d'un nombre limité d'exemples et à son application à de nouvelles informations ou exemples. La langue est l’exemple le plus courant. Par exemple, en tant qu'enfants, nous lisons et entendons un nombre limité de phrases, mais à un moment donné, nous comprenons la grammaire de la langue et la façon dont les différents mots sont utilisés, et sommes capables de comprendre et de créer de nouvelles phrases que nous n'avons jamais entendues auparavant. Si vous y réfléchissez, c'est tellement évident, mais en fait, on ne sait pas vraiment comment cela est appris et mis en œuvre dans un réseau neuronal. Mieux la comprendre est actuellement le principal axe de recherche.
Q4. Récemment, de nombreuses discussions ont eu lieu sur la question de savoir si l’IA pourrait être consciente. Quelle est l’atmosphère académique et vos réflexions à ce sujet ?
Je ne pense pas que nous en sachions encore trop pour discuter du pour ou du contre. Personnellement, je pense que cela ressemble aux débuts des réseaux de neurones, lorsque les études phénoménologiques étaient principalement menées sur ce qu'ils pouvaient faire sans une bonne compréhension de leurs principes. Afin de le savoir scientifiquement, ne devrions-nous pas d'abord nous mettre d'accord sur une définition objective de ce qu'est la « conscience » et être soutenus par des expériences et une compréhension systématiques pour voir si l'IA suit ses propriétés ?
Je tiens à remercier la chercheuse Jinhwa Lee d'avoir pris le temps, malgré son emploi du temps de recherche chargé, de m'aider à rédiger l'article et à répondre à mes questions. Grâce à vous, j'ai pu entendre l'histoire au-delà du journal.
« Histoires de l'industrie racontées par des experts » continue. Toute personne de n'importe quel domaine est invitée à parler des questions d'actualité dans le domaine dans lequel elle travaille actuellement. Veuillez nous contacter par le biais de commentaires ou de messages.
#Schéma des tâches techniques #IA #Science du cerveau #Sciences cognitives #Apprentissage profond #Introduction papier