AI를 공부하다보면 자연스레 떠오르는 질문이 있습니다:
우리 뇌를 잘 이해하면 AI도 잘 이해할 수 있을까? 반대로 AI를 잘 이해하면 뇌도 잘 이해할 수 있을까? 아니, 그 전에, 애초에 둘이 비슷하기는 한 걸까?
이 질문은 생각보다 까다로워서, 아무도 쉽사리 답변하지 못했습니다.
그러다 2019년, PNAS에 실린 한 논문이 돌파구를 열었습니다. Saxe et al., "A Mathematical Theory of Semantic Development in Deep Neural Networks"(PNAS, 2019)입니다.
이 글은 논문 저자인 Saxe 교수의 랩(The Thinking Lab, University College London)에서 연구 중인 Jin Hwa Lee 와 함께 작성하였습니다.
🧠 가깝고도 먼, 뇌과학과 AI
1940-80년대 과학자들은 뇌의 작동구조를 본딴 뉴럴 네트워크가 AI의 기반이 될 수 있음을 보였습니다.
1940년대, McCulloch과 Pitts는 뉴런의 작동 방식을 수식으로 옮겼습니다. 이어 1980년대, Rumelhart와 McClelland는 PDP(병렬분산처리) 모델을 제안했습니다. 뇌의 뉴런들이 서로 연결되어 병렬로 작동하듯, 인공 신경망도 그렇게 설계할 수 있다는 아이디어였습니다. 뇌를 흉내 낸 구조로 '지능'을 학습시킬 수 있다는 것을 처음으로 보여준 것입니다. 이것이 오늘날 딥러닝의 직접적인 출발점이 됐습니다.
그러나 시간이 지나면서 두 분야는 점점 멀어졌습니다.
뇌과학은 실제 신경 회로를 깊이 파고들었습니다. 해마가 기억을 만들고, 편도체가 공포를 처리하고, 도파민이 보상 학습을 조율한다는 식으로, 생물학적으로 깊어졌죠.
AI는 성능만을 기준으로 발전해나갔습니다. 트랜스포머가 나왔고, 거대 언어 모델이 나왔습니다. 뉴런을 흉내 낸다는 애초의 목표는 어느새 뒷전이 됐습니다.
둘의 차이를 정리하자면 이렇습니다.
뇌과학은 관찰의 언어를 씁니다:
모두 정교하게 축적된 관찰 결과들이지만, 그것이 왜 그런지, 조건을 바꾸면 어떻게 달라질지 계산할 수 없습니다.
AI는 시행착오의 언어를 씁니다:
바꿔보고, 결과를 확인하고, 또 바꿔보는 식입니다. 무엇이 작동하는지는 알지만, 그것이 왜 작동하는지는 모릅니다.
그러다 2010년대 딥러닝 붐 이후, AI와 뇌과학의 관계가 재조명됐습니다. 실제로 둘 사이에는 흥미로운 유사성이 발견되기 시작했습니다. 이미지를 학습한 딥러닝 모델이 뇌의 시각 피질과 유사한 계층적 활동 패턴을 보인다는 연구가 나왔고(Yamins & DiCarlo, 2014), 두 분야가 서로를 이해하는 데 도움이 될 수 있다는 기대가 높아졌죠.
하지만 기대와는 달리 상호이해에 큰 진전은 없었습니다. 유사성은 관찰됐지만, 왜 그런 연결고리가 생기는지는 여전히 명쾌하게 설명되지 않았고, 두 분야의 대화는 주로 비유의 수준에 머물렀습니다. 두 분야는 사용하는 언어부터 달랐기 때문입니다.
이 간극을 메우려면 두 분야가 공유할 수 있는 제3의 언어가 필요했습니다.
💡 논문이 선택한 전략: 일부러 단순하게
2019년, PNAS에 게재된 Saxe의 논문은, 뉴럴네트워크 기반의 AI 학습과정을 수식으로 설명하면, 우리 인지의 발달과정에서 보이는 변화들을 예측할 수 있음을 보였습니다. 두 시스템이 작동하는 원리를 함께 설명할 수 있는 언어는 바로 수학이었던 것입니다.
단순화는 자칫 디테일을 흐릴 수 있지만, 어떤 시스템의 본질을 드러내기에 가장 강력한 무기가 되기도 합니다. 물리학의 이상 기체 법칙은 실제 기체를 완벽히 설명하지는 못하지만, 셀 수 없이 많은 분자로 이루어진 기체가 어떻게 변화하고 운동하는지 몇가지 핵심변수로 정확히 포착해내듯이 말입니다.
저자들은 처음부터 실제 뇌나 최신 AI 모델을 분석하려 하지 않았습니다. 둘 다 너무 복잡해서 수식으로 완전히 풀 수가 없기 때문입니다.
대신, 저자들은 심층 선형 신경망(deep linear network)이라는 모델을 선택했습니다. 이는 비선형 활성화 함수를 제거한 간단한 네트워크입니다.
🗝️ 논문의 핵심: 신경망의 학습을 수학으로 풀어내다
저자들은 심층 선형 신경망을 경사하강법으로 훈련할 때 가중치가 시간에 따라 어떻게 변하는지를 미분방정식으로 나타내고 풀었습니다. 즉, 신경망의 학습 양태를 실시간으로 추적한 셈입니다.
미분방정식을 풀어냄으로써, 앞서 예시로 든 이상기체법칙처럼 수천수만개로 이루어진 신경망의 학습도 훨씬 적은 수의 변수로 그 양태를 간추려 설명할 수 있었습니다.
그 결과를 정리하면 이렇습니다. 신경망은 데이터 안의 패턴들을 무작위로 학습하는 것이 아니라,
학습됩니다.
패턴의 중요도에 대해 조금 더 설명하자면 이렇습니다.
동물과 그 특징들로 이루어진 데이터가 있다면, 그 안에는 여러 계층(hierarchy)의 패턴이 섞여 있습니다. 이때 패턴이라 함은 데이터에서 나타나는 구분으로, 예를 들어 "새냐 물고기냐", "비둘기냐 참새냐" 등을 말합니다. 이때 계층은 데이터 전체에서 강하게 나타나며 더 중요한 패턴("새냐 물고기냐"), 데이터의 일부에서만 나타나며 덜 중요한 패턴("비둘기냐 참새냐")으로 나눠집니다.
경사하강법은 데이터 전체에서 강하게 나타나는 패턴을 먼저 포착하고, 데이터의 일부에서만 나타나는 패턴은 나중에 포착합니다.
🔢 수학으로 인지과학을 설명하다
위 결과에서 인지과학이 지난 수십 년간 관찰해온 다양한 현상들이 한꺼번에 설명됩니다. 그 중 몇 개만 소개합니다.
① 큰 범주("동물")를 작은 범주("비둘기")보다 먼저 학습
아이들은 세부 항목보다 큰 범주를 먼저 이해합니다. "비둘기"보다 "새"를, "새"보다 "동물"을 먼저인 식이죠.
논문의 수식으로부터 도출된 바에 따르면, 이러한 학습의 순서는 수학적 필연입니다.
② 피아제(Piaget)의 인지발달 이론
피아제는 아동 발달이 연속적이지 않다고 했습니다. 조금씩 나아지는 게 아니라, 오랜 정체기 뒤에 갑자기 도약하는 단계가 반복된다고요.
수식으로 도출된 S자 곡선은 이와 정확히 맞아떨어집니다. 그리고 여러 패턴이 서로 다른 시점에 전환되니, 밖에서 보면 "단계"처럼 보입니다.
피아제가 수십 년간 아이들을 관찰해서 귀납한 아동 발달 단계 역시 학습 알고리즘의 수학적 필연입니다.
③ U자형 학습 곡선 - 유아 학습과정의 일시적 오류
아이들의 흔한 학습 패턴이 있습니다. 바로 '한 번 틀렸다가 고쳐지는' 패턴입니다. 예를 들어, "연어가 날 수 있나요?"라는 질문에, 학습 초반에는 "아니요"라고 답합니다. 그런데 어느 시점부터 잠깐 "네"라고 답했다가, 나중에 다시 "아니요"로 돌아오는 식입니다. 이는 모든 아이들에게서 공통적으로 나타납니다. 왜 그럴까요?
패턴은 중요도 순서대로 학습되기 때문에, 아이들에겐 광범위한 구분("동물이다/아니다")은 학습되었지만 아직 세부 구분("새 vs 물고기")은 학습되지 않은 시점이 있습니다. 이 상태에서 세부 구분에 대한 사실("새는 날 수 있다")을 배우면, 새와 물고기를 아직 같은 묶음으로 처리하는 네트워크가, 새에 대한 특징을 물고기에도 적용해버리는 것입니다. 그러다 세부 구분의 학습이 완성되면 이러한 오류는 사라집니다.
즉, 우리 모두가 겪은 어린 시절의 이러한 과도기적 학습 오류 역시 수학적 필연이라는 것입니다.
정리하면, 이 논문은 각각 다른 심리학자가, 다른 실험으로, 다른 이론으로 설명해오던 현상들을 심층신경망의 학습과정을 표현하는 수식으로부터 모두 도출해냈습니다.
저자들은 이 결과를 두고, 이 단순한 수식이 뇌 자체는 아니지만 경험을 통해 뇌의 표상이 발달하는 과정을 들여다보는 "수학적으로 다룰 수 있는 창"이라고 표현합니다. 그리고 이 창이 언젠가 뇌라는 생물학적 하드웨어에서 마음의 고차원적 계산이 어떻게 출현하는지를 밝히는 발판이 되기를 바란다는 말로 논문을 맺습니다.
🧭 마무리
뇌과학과 AI를 잇는 제3의 언어가 수학이었다는 것, 그리고 이로부터 수많은 인지과학적 사실들이 한 번에 설명되었다는 것이 이번 편의 이야기였습니다.
다음 편에서는 이 논문이 뇌과학과 AI 각 분야에 기여한 바와, "인간은 백지로 태어나는가"라는 오래된 논쟁에 어떤 답을 주는지 알아보겠습니다. 그리고 이 글의 공동 집필자인 이진화 연구원과 간단히 나눈 문답도 덧붙일 예정입니다.
#기술과제도사이 #AI #뇌과학 #인지과학 #딥러닝 #논문소개