在研究人工智能时，人们自然会想到这样的问题：
如果我们很好地了解我们的大脑，我们是否也可以更好地了解人工智能？反过来说，如果我们了解了人工智能，我们是否也可以了解大脑呢？不，在那之前，他们一开始就很相似吗？
这个问题比你想象的要棘手，没有人能给出简单的答案。
然后，2019年，发表在PNAS上的一篇论文取得了突破。 Saxe 等人，“深度神经网络语义发展的数学理论”（PNAS，2019）。
本文是与论文作者 Jin Hwa Lee 共同撰写的，Jin Hwa Lee 在 Saxe 教授的实验室（伦敦大学学院思维实验室）工作。
🧠 远近，脑科学与人工智能
从 20 世纪 40 年代到 20 世纪 80 年代，科学家们证明，模仿大脑操作结构的神经网络可以成为人工智能的基础。
20 世纪 40 年代，麦卡洛克和皮茨将神经元的工作原理转化为数学方程。随后，在 20 世纪 80 年代，Rumelhart 和 McClelland 提出了 PDP（并行分布式处理）模型。这个想法是，就像大脑中的神经元相互连接并并行运行一样，人工神经网络也可以这样设计。这是第一次证明可以通过模仿大脑的结构来学习“智力”。这成为了今天深度学习的直接起点。
但随着时间的推移，两个领域变得越来越疏远。
神经科学已经深入研究了实际的神经回路。从生物学角度来说，它是深入的，海马体创造记忆，杏仁核处理恐惧，多巴胺协调奖励学习。
人工智能的发展完全基于性能。变形金刚出来了，然后巨型语言模型也出来了。模仿神经元的最初目标突然半途而废。
总结两者的区别如下。
神经科学使用观察语言：
这些都是精心积累的观察结果，但无法计算它们为什么会这样，或者如果条件改变它们会如何变化。
人工智能使用反复试验的语言：
尝试更改它，检查结果，然后再次更改。我们知道什么有效，但不知道为什么有效。
然后，在2010年代深度学习热潮之后，人工智能和脑科学之间的关系被重新审视。事实上，两者之间开始出现一些有趣的相似之处。研究表明，学习图像的深度学习模型显示出类似于大脑视觉皮层的分层活动模式（Yamins & DiCarlo，2014），这提高了人们对这两个领域可以帮助相互理解的期望。
然而，出乎意料的是，双方的理解并没有取得重大进展。尽管观察到了相似之处，但为什么会出现这种联系仍然没有得到明确的解释，两个领域之间的对话主要停留在类比的层面上。这是因为两个领域使用的语言不同。
为了弥合这一差距，需要两个领域可以共享的第三种语言。
💡 论文选择的策略：故意简单
Saxe 于 2019 年发表在 PNAS 上的论文表明，通过用公式解释基于神经网络的人工智能学习过程，可以预测我们认知发展中看到的变化。能够解释这两个系统工作原理的语言是数学。
简化可能会掩盖细节，但它也可能是揭示系统本质的最有力武器。物理学中的理想气体定律并不能完全解释实际气体，但它准确地捕捉了由无数分子组成的气体如何通过几个关键变量变化和移动。
作者最初并不打算分析真实的大脑或最先进的人工智能模型。这是因为两者都太复杂，无法用公式完全解决。
相反，作者选择了一种称为深度线性网络的模型。这是一个删除了非线性激活函数的简单网络。
🗝️论文要点：用数学解决神经网络学习
作者表示并求解了使用梯度下降训练深度线性神经网络时权重如何随时间变化的微分方程。换句话说，神经网络的学习模式是实时跟踪的。
通过求解微分方程，就像前面示例中的理想气体定律一样，可以用更少的变量来简要解释由数万个项目组成的神经网络的学习。
结果可总结如下。神经网络不会随机学习数据模式，
这是习得的。
这里有更多关于模式重要性的解释。
如果您有由动物及其特征组成的数据，那么其中会混合多个层次结构的模式。此时，模式指的是数据中出现的划分，例如“鸟还是鱼？”、“鸽子还是麻雀？”在这种情况下，层次结构被分为在整个数据中都很强大并且更重要的模式（“鸟还是鱼？”），以及仅出现在数据的一部分中的较不重要的模式（“鸽子或麻雀”）。
梯度下降首先捕获在整个数据中强烈出现的模式，然后捕获仅在部分数据中出现的模式。
🔢 用数学解释认知科学
上述结果解释了认知科学在过去几十年中观察到的各种现象。这里只是其中的一些。
① 先学习大类别（“动物”），然后再学习小类别（“鸽子”）
孩子们先了解大类，然后再了解细节。 “鸟”在“鸽子”之前，“动物”在“鸟”之前，等等。
根据论文中的公式，这种学习顺序是数学上的必然。
② 皮亚杰的认知发展理论
皮亚杰说，儿童的发展不是连续的。不是一点点进步，而是重复长期停滞后突然飞跃的阶段。
由公式推导出来的S形曲线正好符合这一点。由于不同的模式在不同的时间转变，因此从外部看它们就像“阶段”。
皮亚杰通过数十年对儿童的观察得出的儿童发展阶段也是学习算法的数学必然性。
③ U型学习曲线——孩子学习过程中的暂时性错误
儿童有共同的学习模式。这就是“一错再改”的模式。例如，对于“鲑鱼会飞吗？”这个问题，在学习之初的答案是“不会”。但在某些时候，答案暂时是“是”，然后又回到“否”。这是所有孩子的共同点。为什么会这样呢？
因为模式是按照重要性顺序学习的，所以到了某个阶段，孩子们已经学会了广泛的区别（“是/不是动物”），但还没有学会具体的区别（“鸟与鱼”）。在这种状态下，如果我们了解了有关细分的事实（“鸟可以飞”），仍然将鸟和鱼视为同一群体的网络也会将鸟的特征应用于鱼。然后，一旦完成详细的分类学习，这些错误就会消失。
换句话说，我们在童年时期都经历过的这些过渡性学习错误也是数学的必然。
综上所述，本文从表达深度神经网络学习过程的公式中推导出了不同心理学家通过不同实验、不同理论所解释的所有现象。
作者将这些结果描述为大脑表征通过经验发展的过程的“数学上易于处理的窗口”，尽管这个简单的公式并不是大脑本身。我在论文的总结中说，我希望这一窗口有一天能够成为一个垫脚石，揭示心灵的高维计算如何从称为大脑的生物硬件中产生。
🧭 总结
本集的故事是，数学是连接脑科学和人工智能的第三语言，无数认知科学事实由此被一次解释。
在下一部分中，我们将看看这篇论文对脑科学和人工智能各个领域的贡献，以及它为长期存在的争论“人类生来就是一张白纸吗？”提供了哪些答案。我还将添加与本文合著者、研究员 Lee Jin-hwa 的简短问答。
#技术任务图#AI #脑科学#认知科学#深度学习#论文介绍