*この記事は、論文の著者であるSaxe教授のLab（The Thinking Lab、University College London）で研究中のJin Hwa Lee研究員 Jin Hwa Lee とともに
最後の方ではAIの学習動力学を数式で解いたところ、認知科学が数十年間観察してきた現象が一貫して説明されたという話をしました。
今回は、この論文が各分野にどのような影響を与えたかを見てみましょう。最後に、共同執筆者のJin Hwa Lee研究員と分けた問答を載せました。
🔬脳科学：観察から計算/予測へ
ピアジェの段階理論、カテゴリー学習の順序など、それぞれ別々に確立された実験と理論を単一の原理に統合したというだけでも、すでに膨大な成果です。
この論文のもう一つの成果は、認知科学に定量的分析可能性と予測力を与えたです。以前の認知科学は、すでに起こった現象を事後に解釈することにとどまっていました。しかし、今は数式に基づいてどのような条件でどの現象が現れるかを事前に計算し、どの変数を調整すべきかを知る可能性が開かれています。
🤖AI：結果中心的な発展に説明を加える
論文は、AI分野が通常欠けている「なぜ」への答えを提供するでした。
「なぜ」を知ることは、単なる知的満足の問題ではありません。なぜ動作するのかわからない場合は、いつ失敗するかを予測できず、どのように改善するかを設計することはできません。これまでのAI発展が相当部分試行錯誤に依存してきた理由でもあります。
特に、この論文では、が深いネットワークが浅いネットワークよりもうまく機能する理由について説明します。これは、深いネットワークでのみ前の記事で説明したすべての学習側面が発生することが明らかになったためです。
⚖️先天論対経験論
この論文は、認知科学の喜大の難題、「知能の先天性」論争に再び火をつけます。つまり、「人間は白紙（tabula rasa）で生まれているのか？」ということです。
先天論 は人間の認知構造、すなわち概念とカテゴリを組織する方式が生まれから脳に内在している は主張です。実際、子供たちは不完全な経験だけで驚くほど素早く言語と概念を習得します。
先天論の代表走者チョムスキーはこれを言語習得に適用し、子どもが不完全な入力だけでも正しい文法を習得するのは経験だけでは説明が不可能だと言いました。 先天的な言語習得装置が脳に内在している というのです。
一方、の経験論は生まれたとき私達の脳は白紙の状態であり、すべての構造は経験から来る は主張です。しかし、長い間、経験論は「そのように働いた」というシミュレーションレベルにとどまり、チョムスキーの議論に反論することは容易ではありませんでした。
この論文は、経験論の面で強力な数学的根拠を提供します。完全な白紙状態のランダムな重みから出発しても、環境の統計構造と傾斜下降法さえあれば階層的カテゴリー、典型性、帰納的偏向が自然に出現します。 チョムスキーが経験だけでは説明できないとしたその現象が、学習の数学だけでも十分に出てくることができるということです。
ただし、この論文が無条件の経験論を支持するわけではありません。学習は経験に基づいて行われますが、その学習が上記の側面で行われるためには、特定の「構造」（例えば、深いニューラルネットワーク、小さな初期重さ）が必要です。単に先天論と経験論のどちらか一方が合って間違っているというよりは、その間でもう少し正確なニュアンスを指すのです。
🧭終了
この論文の後、Richards、Lillicrap、Ganguli、Saxeらが共に書いた2019年のNature Neuroscience論文は、神経科学の発見をAI設計に体系的に結びつけるフレームワークを提案しました。脳科学とAIが互いに真につながり始めたのです。
個人的にこの論文で最も印象的だったのは、先天論や経験論論争など、人間本願の質問に数学が一定の部分答えを与えたという部分でした。数学が概念とカテゴリーの発達を説明した場合、感情、創造性、意識も説明できますか？私が世界を理解する方法と現在持っている概念が私が生きてきた環境と数学的必然性の組み合わせであるならば、国は誰がすぐにどのような式の結果であるかもしれません。
また、AIが言語を学んだ方法と、私が言語を学んだ方法が同じ数学的原理であれば、AIも本当に言語を理解していると見ることができますか？さらに、AIを単純なツールだけで見てもいいのでしょうか？ AIと人間の関係をどのように定義するかについて重要な鍵を握る質問だと思われます。
🎤研究者に尋ねる
このシリーズを一緒に書いたJin Hwa Lee研究員は、論文著者Andrew Saxeの研究室で博士課程を踏んでいます。文を終えていくつか尋ねました。
Q1。脳科学側の研究者は、この数学的アプローチをどのように受け入れますか？予測力を得たと感じますか、それとも単純すぎると思いますか？
「単純化」であることは明らかですが、実はこのアプローチが与えるメカニズムの明瞭さには多くの人々が満足感を得ているようです。現象の観察（ニューラルネットワークがこのようなことを学ぶことができる、実際の人間と同様の学習過程を経る）から抜け出して、ニューラルネットワークのどのような要素がどのようにそのような現象を作り出すかを把握するとき、私たちの理解は完全に異なるのですから。脳科学だけでなくAI全般で、このような物理的・数学的アプローチの重要度はますます高くなるようです。新しく有用な現象を見つけるために直観に従ったり、実験変数を変えて繰り返し実験をすることも一つの方法ですが、このような深い理解に基づいているなら、より正確な仮説を立ててそれを確認するための実験も計画できないでしょうか。
Q2。学部は物理学専攻であることを知っています。どのように脳科学研究を始めるのですか？初めて関心を持つようになったきっかけが気になります。
物理学の方法論に憧れて学部生の時に物理学を専攻しましたが、実はいつも気になってもっと知りたかったのは脳認知科学や生命現象でした。一般生命学を学びながらDNAドグマの授業を聞くとき、どうやってこんなに複雑なメカニズムが進化を通じて作られたのか、驚くべきその感情がまだ思いますね。それに対して脳認知科学で現象論は多く研究されていますが、我々がDNAを理解するように、その程度のメカニズムはまだ知られていないという感じをたくさん受けました。それで漠然とそのように脳を研究したいという考えから始めることになりましたね。
Q3。最近はどんな研究をしていますか？
ここ数年間、私が最も興味を持っている質問は、ニューラルネットワークが体系的な一般化をどのように学ぶかです。体系的な一般化とは、限られた数の例で概念や規則を学び、それを新しい情報や例に適用することです。言語が最も一般的な例です。例えば、私たちは子供の頃に限られた数の文章を読んで聞きますが、どの瞬間、言語の文法と他の単語がどのように使われるのかを理解し、一度も聞いたことのない新しい文章を理解し、また作り出すことができます。どうやって考えると当然ですが、実際にこれがどのようにニューラルネットワークで学習され実装されるかは完全には知られていません。それをよりよく理解することが現在最も注力している研究です。
Q4。最近「AIに意識がないかな」という議論が多いです。これに対する学界の雰囲気、そして本人の考えはどうでしょうか？
賛成、反対を論じるにはまだ私たちがあまり知らないことがないと思います。ニューラルネットワークの序盤に、その原理はよく理解されていないが、これが何ができるかについての現象学的な研究が、主を成し遂げた時と似たような外観であるという感じを個人的に多く受けます。これを科学的に知るためには、「意識」が何であるか、まず客観的定義に私たちが同意しなければならないのでしょうか。
忙しい研究の中でも時間をかけて書くのを助けて質問に答えてくれたJin Hwa Lee研究員に感謝の気持ちを伝えます。おかげで論文越えの話まで聞くことができました。
「専門家が聞く業界ストーリー」は続く。今体談は分野の熱い問題を聞いてくださる方ならどんな分野でも歓迎します。コメントやメッセージでご連絡ください。
＃技術課題の間＃AI＃脳科学＃認知科学＃ディープラーニング＃論文紹介