*本文与 Jin Hwa Lee 共同撰写,Jin Hwa Lee 是 Saxe 教授实验室(伦敦大学学院思维实验室)的研究员,也是本文的作者。
在上一集中,我们讨论了如何用方程解决人工智能的学习动态,并对认知科学几十年来观察到的现象进行了一致的解释。
在本期节目中,我们将了解这篇论文对各个领域产生了哪些影响。最后,我们与合著者、研究员 Jinhwa Lee 进行了问答。
🔬 神经科学:从观察到计算/预测
仅仅将单独建立的实验和理论(例如皮亚杰的阶段理论和类别学习顺序)整合成一个单一的原理就已经是一项巨大的成就了。
这篇论文的另一个成就是它赋予了认知科学定量分析和预测的能力。以前的认知科学仅限于解释事后已经发生的现象。不过,现在可以根据公式提前计算出在什么条件下会出现什么现象,并知道要调整哪些变量。
🤖 AI:为结果导向的开发添加解释
这篇论文为人工智能领域通常缺乏的“为什么”提供了答案。
知道“为什么”不仅仅是智力满足的问题。如果你不知道某件事为何有效,你就无法预测它何时会失败,也无法设计如何改进它。这也是迄今为止人工智能发展很大程度上依赖于试错的原因。
特别是,本文解释了为什么深层网络比浅层网络表现更好。因为事实证明,只有在深度网络中,上一篇文章中描述的所有学习方面才会发生。
⚖️先天理论与经验主义
这篇论文重新引发了关于“智力的先天性”的争论,这是认知科学中的一个罕见问题。换句话说,它是关于“人类生来就是一块白板(tabula rasa)吗?”
先天理论认为,人类的认知结构,或者说我们组织概念和类别的方式,是在出生时就嵌入大脑的。事实上,儿童习得语言和概念的速度惊人地快,其效率无法仅用经验来解释。
先天理论的代表人物乔姆斯基将此应用于语言习得,并表示仅通过经验无法解释孩子如何在不完整的输入下习得正确的语法。这意味着大脑具有与生俱来的语言习得装置。
另一方面,经验主义认为,我们的大脑在出生时是一张白板,所有结构都是从经验中产生的。然而,长期以来,经验主义停留在模拟的层面,“事情就是这样的”,要反驳乔姆斯基的论点并不容易。
本文为经验主义提供了强有力的数学基础。即使从完全空白的随机权重开始,只要需要环境的统计结构和梯度下降,层次类别、典型性和归纳偏差就会自发地出现。乔姆斯基所说的无法仅通过经验来解释的现象可以通过学习数学轻松实现。
然而,本文并不无条件支持经验主义。学习基于经验,但需要一定的“结构”(例如深度神经网络、较小的初始权重)才能以上述方式进行学习。它不是简单地说先天理论或经验主义是对还是错,而是指出了两者之间更准确的细微差别。
🧭 结论
在这篇论文之后,Richards、Lillicrap、Ganguli、Saxe 等人在 2019 年《自然神经科学》杂志上发表了一篇论文,提出了一个系统性地将神经科学发现与人工智能设计联系起来的框架。神经科学和人工智能开始真正相互联系。
就我个人而言,这篇论文最令人印象深刻的是数学为人类的基本问题提供了一些答案,例如先天论和经验论之间的争论。如果数学解释了概念和范畴的发展,它也能解释情感、创造力和意识吗?如果说我理解世界的方式和我目前所拥有的观念是我所生活的环境和数学必然性的结合,那么我这个人可能就是某种数学的结果。
另外,如果人工智能学习语言的方式和我学习语言的方式遵循相同的数学原理,我们是否可以说人工智能也真正理解了该语言?此外,人工智能是否只能被视为一种工具?我认为这是一个重要的问题,关键是如何定义人工智能和人类之间的关系。
🎤 询问研究员
研究员 Jinhwa Lee 是本系列文章的合著者,他是论文作者 Andrew Saxe 实验室的博士生。为了结束这篇文章,我问了几个问题。
Q1.脑科学研究人员如何接受这种数学方法?您觉得自己已经获得了预测能力,还是认为这过于简单化了?
尽管这显然是一种“简化”,但许多人似乎对这种方法提供的机制的清晰度感到满意。当我们超越对一种现象的观察(神经网络可以学习这一点,它们经历类似于真实人类的学习过程)并找出神经网络的某些元素如何产生这种现象时,我们的理解就变得完全不同。这些物理和数学方法的重要性似乎正在增加,不仅在脑科学领域,而且在整个人工智能领域也是如此。一种方法是遵循直觉或通过改变实验变量进行重复实验来发现新的有用的现象,但基于这种深刻的理解,是否可以提出更精确的假设并计划实验来证实它们?
Q2。据我所知,您的本科学位是物理学。您是如何开始研究脑科学研究的?我很好奇你是怎么开始感兴趣的。
我本科时主修物理,因为我很欣赏物理的方法论,但其实我一直好奇、想了解更多的是脑认知科学和生命现象。当我在学习普通生物学的同时参加DNA教条课程时,我仍然记得那种惊讶的感觉,因为我想知道这样一个复杂的机制是如何通过进化创造出来的。另一方面,虽然现象学在脑认知科学中已经得到了很多研究,但我觉得这个机制就像我们理解DNA一样,目前还不清楚。所以,我从一个模糊的想法开始,我想像这样研究大脑。
Q3。你这些天在做什么研究?
近年来我最感兴趣的问题是神经网络如何学习系统概括。系统概括是指从有限数量的示例中学习概念或规则并将其应用于新的信息或示例。语言是最常见的例子。例如,作为孩子,我们阅读和听到的句子数量有限,但在某些时候,我们了解该语言的语法以及如何使用不同的单词,并且能够理解和创造我们以前从未听过的新句子。如果你仔细想想,这是很明显的,但事实上,我们并不完全知道这是如何在神经网络中学习和实现的。更好地理解它是目前的主要研究重点。
Q4。最近,关于人工智能是否可能有意识的讨论很多。学术氛围如何,您对此有何看法?
我认为我们还不太了解,无法讨论利弊。就我个人而言,我觉得这类似于神经网络的早期,当时现象学研究主要是在没有很好地理解其原理的情况下进行它们能做什么。为了科学地认识这一点,我们是否应该首先就“意识”的客观定义达成一致,并通过系统实验和理解来支持,看看人工智能是否遵循其属性?
我要感谢 Jinhwa Lee 研究员在繁忙的研究日程中抽出时间帮助我撰写文章并回答我的问题。多亏了你,我才能够听到报纸之外的故事。
“专家讲述的行业故事”仍在继续。欢迎任何领域的人士谈论自己当前工作领域的热点问题,欢迎通过评论或留言联系我们。
#技术任务图#AI #脑科学#认知科学#深度学习#论文介绍

