Al estudiar la IA, naturalmente surgen preguntas que nos vienen a la mente:
Si entendemos bien nuestro cerebro, ¿podremos también entender mejor la IA? Por el contrario, si entendemos bien la IA, ¿podemos también entender bien el cerebro? No, antes de eso, ¿son similares en primer lugar?
Esta pregunta es más complicada de lo que piensas y nadie tiene una respuesta fácil.
Luego, en 2019, un artículo publicado en PNAS logró un gran avance. Saxe et al., “Una teoría matemática del desarrollo semántico en redes neuronales profundas” (PNAS, 2019).
Este artículo fue coescrito con el autor del artículo, Jin Hwa Lee, quien trabaja en el laboratorio del profesor Saxe (The Thinking Lab, University College London).
🧠 Cerca y lejos, ciencia del cerebro e IA
Desde la década de 1940 hasta la de 1980, los científicos demostraron que una red neuronal modelada a partir de la estructura operativa del cerebro podría ser la base de la IA.
En la década de 1940, McCulloch y Pitts pusieron el funcionamiento de las neuronas en una ecuación matemática. Luego, en la década de 1980, Rumelhart y McClelland propusieron el modelo PDP (procesamiento distribuido paralelo). La idea era que así como las neuronas del cerebro están conectadas entre sí y funcionan en paralelo, se podría diseñar una red neuronal artificial de esa manera. Esta es la primera vez que se demuestra que la "inteligencia" se puede aprender utilizando una estructura que imita al cerebro. Este se convirtió en el punto de partida directo del aprendizaje profundo actual.
Pero con el tiempo, los dos campos se volvieron cada vez más distantes.
La neurociencia ha profundizado en los circuitos neuronales reales. Es biológicamente profundo: el hipocampo crea recuerdos, la amígdala procesa el miedo y la dopamina orquesta el aprendizaje de recompensa.
La IA se ha desarrollado basándose únicamente en el rendimiento. Salieron Transformers y luego salió el modelo de lenguaje gigante. El objetivo original de imitar neuronas de repente quedó en el camino.
Para resumir la diferencia entre los dos, es la siguiente.
La neurociencia habla el lenguaje de la observación:
Todos estos son resultados de observación elaborados y acumulados, pero es imposible calcular por qué son así o cómo cambiarán si cambian las condiciones.
La IA habla el lenguaje del ensayo y error:
Intente cambiarlo, verifique los resultados y cámbielo nuevamente. Sabemos qué funciona, pero no sabemos por qué funciona.
Luego, después del auge del aprendizaje profundo en la década de 2010, se reexaminó la relación entre la IA y la ciencia del cerebro. De hecho, están empezando a surgir algunas similitudes interesantes entre los dos. Las investigaciones han demostrado que los modelos de aprendizaje profundo que aprenden imágenes muestran patrones de actividad jerárquicos similares a los de la corteza visual del cerebro (Yamins & DiCarlo, 2014), lo que genera expectativas de que los dos campos puedan ayudar a entenderse entre sí.
Sin embargo, contrariamente a lo esperado, no hubo avances significativos en el entendimiento mutuo. Aunque se observaron similitudes, aún no se explica claramente por qué se produjeron tales conexiones, y la conversación entre los dos campos se mantuvo principalmente en el nivel de analogía. Esto se debe a que los idiomas utilizados en los dos campos son diferentes.
Para cerrar esta brecha, se necesitaba un tercer lenguaje que ambos campos pudieran compartir.
💡 Estrategia elegida por el periódico: intencionalmente simple
El artículo de Saxe publicado en PNAS en 2019 mostró que los cambios observados en el desarrollo de nuestra cognición se pueden predecir explicando el proceso de aprendizaje de la IA basado en redes neuronales con una fórmula. El lenguaje que podía explicar los principios de cómo funcionan los dos sistemas eran las matemáticas.
La simplificación puede oscurecer los detalles, pero también puede ser el arma más poderosa para revelar la esencia de un sistema. La ley de los gases ideales en física no explica completamente los gases reales, pero captura con precisión cómo los gases formados por innumerables moléculas cambian y se mueven a través de algunas variables clave.
Inicialmente, los autores no tenían la intención de analizar cerebros reales ni modelos de inteligencia artificial más modernos. Esto se debe a que ambos son demasiado complejos para resolverlos completamente con fórmulas.
En cambio, los autores eligieron un modelo llamado red lineal profunda. Esta es una red simple sin la función de activación no lineal.
🗝️ Punto clave del artículo: Resolver el aprendizaje de redes neuronales con matemáticas
Los autores representan y resuelven ecuaciones diferenciales sobre cómo cambian los pesos con el tiempo cuando entrenan una red neuronal lineal profunda mediante descenso de gradiente. En otras palabras, el patrón de aprendizaje de la red neuronal se rastrea en tiempo real.
Al resolver ecuaciones diferenciales, como la ley de los gases ideales en el ejemplo anterior, el aprendizaje de una red neuronal que consta de decenas de miles de elementos podría explicarse brevemente con un número mucho menor de variables.
Los resultados se pueden resumir de la siguiente manera. Las redes neuronales no aprenden aleatoriamente patrones en los datos,
Se aprende.
Aquí hay un poco más de explicación sobre la importancia de los patrones.
Si tiene datos que consisten en animales y sus características, hay múltiples jerarquías de patrones mezclados dentro de ellos. En este momento, el patrón hace referencia a la división que aparece en los datos, por ejemplo, “¿Pájaro o pez?”, “¿Paloma o gorrión?” En este caso, la jerarquía se divide en patrones que son fuertes en todos los datos y son más importantes (“¿Pájaro o pez?”), y patrones menos importantes que aparecen solo en una parte de los datos (“Paloma o gorrión”).
El descenso de gradiente captura los patrones que aparecen con fuerza en todos los datos primero y los patrones que aparecen solo en partes de los datos más adelante.
🔢 Explicando la ciencia cognitiva con las matemáticas
Los resultados anteriores explican varios fenómenos que la ciencia cognitiva ha observado durante las últimas décadas. Éstos son sólo algunos de ellos.
① Aprender categorías grandes (“animales”) antes que categorías pequeñas (“palomas”)
Los niños comprenden categorías más amplias antes que los detalles. "Pájaro" va antes de "paloma", "animal" va antes de "pájaro", etc.
Según las fórmulas del artículo, este orden de aprendizaje es una necesidad matemática.
② Teoría del desarrollo cognitivo de Piaget
Piaget decía que el desarrollo infantil no es continuo. En lugar de mejorar poco a poco, se repite la etapa de salto brusco tras un largo período de estancamiento.
La curva en forma de S derivada de la fórmula se ajusta exactamente a esto. Y dado que diferentes patrones cambian en diferentes momentos, desde fuera parecen “fases”.
Las etapas del desarrollo infantil que Piaget derivó de décadas de observación de niños son también una necesidad matemática del algoritmo de aprendizaje.
③ Curva de aprendizaje en forma de U: errores temporales en el proceso de aprendizaje de los niños
Hay patrones de aprendizaje comunes en los niños. Este es el patrón de “una vez equivocado y luego corregido”. Por ejemplo, a la pregunta “¿Puede volar el salmón?”, la respuesta es “No” al inicio del aprendizaje. Pero en algún momento, la respuesta es “sí” por un momento, y luego vuelve a ser “no”. Esto es común a todos los niños. ¿Por qué es así?
Debido a que los patrones se aprenden en orden de importancia, llega un punto en el que los niños han aprendido distinciones amplias (“es/no es un animal”) pero aún no han aprendido distinciones específicas (“pájaro versus pez”). En este estado, si aprendemos un hecho sobre la subdivisión (“los pájaros pueden volar”), la red, que todavía trata a las aves y a los peces como el mismo grupo, aplicará las características de las aves también a los peces. Luego, una vez que se completa el aprendizaje de clasificación detallado, estos errores desaparecen.
En otras palabras, estos errores de aprendizaje transicionales que todos experimentamos en la infancia también son una necesidad matemática.
En resumen, este artículo derivó todos los fenómenos que habían sido explicados por diferentes psicólogos, a través de diferentes experimentos y diferentes teorías, a partir de fórmulas que expresan el proceso de aprendizaje de las redes neuronales profundas.
Los autores describen estos resultados como una "ventana matemáticamente manejable" al proceso mediante el cual las representaciones cerebrales se desarrollan a través de la experiencia, aunque esta fórmula simple no es el cerebro en sí. Y concluyo el artículo diciendo que espero que esta ventana algún día sirva como un trampolín para revelar cómo los cálculos mentales de alta dimensión emergen del hardware biológico llamado cerebro.
🧭 Conclusión
La historia de este episodio fue que las matemáticas eran el tercer idioma que conectaba la ciencia del cerebro y la IA, y que a partir de ahí se explicaban numerosos hechos de la ciencia cognitiva a la vez.
En la siguiente parte, analizaremos la contribución de este artículo a cada campo de la ciencia del cerebro y la IA, y qué respuesta proporciona al debate de larga data: "¿Los humanos nacen con una pizarra en blanco?" También agregaré una breve sesión de preguntas y respuestas con el investigador Lee Jin-hwa, coautor de este artículo.
#Diagrama de tareas técnicas #IA #Ciencia del cerebro #Ciencia cognitiva #Aprendizaje profundo #Introducción al artículo