*Este artículo fue coescrito con Jin Hwa Lee , un investigador que trabaja en el laboratorio del profesor Saxe (The Thinking Lab, University College London) y autor del artículo.
En el último episodio, hablamos de cómo la dinámica de aprendizaje de la IA se resolvió con ecuaciones y se explicaron consistentemente los fenómenos que la ciencia cognitiva había observado durante décadas.
En este episodio descubriremos qué impacto tuvo este artículo en cada campo. Al final, incluimos una sesión de preguntas y respuestas con el coautor, el investigador Jinhwa Lee.
🔬 Neurociencia: De la observación al cálculo/predicción
La mera integración de experimentos y teorías establecidas por separado, como la teoría de las etapas de Piaget y el orden del aprendizaje por categorías, en un único principio ya es un logro tremendo.
Otro logro de este artículo es que otorga análisis cuantitativo y poder predictivo a la ciencia cognitiva. La ciencia cognitiva anterior se limitaba a interpretar fenómenos que ya habían ocurrido después del hecho. Sin embargo, ahora existe la posibilidad de calcular de antemano qué fenómeno se producirá en qué condiciones basándose en la fórmula y saber qué variables ajustar.
🤖 IA: agregando explicaciones al desarrollo orientado a resultados
El artículo proporciona una respuesta al "por qué" del que suele carecer el campo de la IA.
Saber "por qué" no es simplemente una cuestión de satisfacción intelectual. Si no sabes por qué algo funciona, no puedes predecir cuándo fallará y no puedes diseñar cómo mejorarlo. Esta es también la razón por la que hasta ahora el desarrollo de la IA se ha basado en gran medida en el método de prueba y error.
En particular, este artículo explica por qué las redes profundas funcionan mejor que las superficiales. Porque resulta que sólo en las redes profundas ocurren todos los aspectos de aprendizaje descritos en el artículo anterior.
⚖️ Teoría innata vs empirismo
Este artículo reaviva el debate sobre el “carácter innato de la inteligencia”, un problema poco común en la ciencia cognitiva. En otras palabras, se trata de “¿Los humanos nacen con una pizarra en blanco (tabula rasa)?”
La teoría innata es la afirmación de que la estructura cognitiva humana, o la forma en que organizamos conceptos y categorías, está incrustada en el cerebro desde el nacimiento. De hecho, los niños adquieren el lenguaje y los conceptos sorprendentemente rápido y con una eficiencia que no puede explicarse únicamente con la experiencia.
Chomsky, un representante de la teoría innata, aplicó esto a la adquisición del lenguaje y dijo que es imposible explicar únicamente mediante la experiencia cómo un niño adquiere la gramática correcta con sólo una información incompleta. Esto significa que el cerebro tiene un dispositivo innato de adquisición del lenguaje.
Por otro lado, el empirismo sostiene que nuestro cerebro es una pizarra en blanco al nacer y que todas las estructuras surgen de la experiencia. Sin embargo, durante mucho tiempo el empirismo permaneció en el nivel de la simulación, “funciona de esa manera”, y no fue fácil refutar el argumento de Chomsky.
Este artículo proporciona una sólida base matemática para el empirismo. Incluso partiendo de una pizarra completamente en blanco de pesos aleatorios, las categorías jerárquicas, la tipicidad y los sesgos inductivos surgen espontáneamente, siempre que se requiera la estructura estadística del entorno y el descenso del gradiente. Los fenómenos que Chomsky dijo que no pueden explicarse únicamente mediante la experiencia pueden lograrse fácilmente mediante las matemáticas del aprendizaje.
Sin embargo, este artículo no apoya incondicionalmente el empirismo. El aprendizaje se basa en la experiencia, pero requiere cierta "estructura" (por ejemplo, redes neuronales profundas, pesos iniciales pequeños) para que el aprendizaje se produzca de la manera descrita anteriormente. En lugar de decir simplemente que la teoría innata o el empirismo son correctos o incorrectos, señala un matiz intermedio más preciso.
🧭 En conclusión
Después de este artículo, un artículo de Nature Neuroscience de 2019 elaborado por Richards, Lillicrap, Ganguli, Saxe y otros propuso un marco para conectar sistemáticamente los descubrimientos de la neurociencia con el diseño de la IA. La neurociencia y la IA están empezando a conectarse realmente entre sí.
Personalmente, lo más impresionante de este artículo fue que las matemáticas proporcionaron algunas respuestas a cuestiones humanas fundamentales, como el debate entre innateísmo y empirismo. Si las matemáticas explican el desarrollo de conceptos y categorías, ¿pueden también explicar las emociones, la creatividad y la conciencia? Si la forma en que entiendo el mundo y los conceptos que tengo actualmente son una combinación del entorno en el que he vivido y la inevitabilidad matemática, entonces la persona que soy puede ser el resultado de algún tipo de matemática.
Además, si la forma en que la IA aprendió el idioma y la forma en que yo aprendí el idioma siguen los mismos principios matemáticos, ¿podemos decir que la IA también comprende realmente el idioma? Además, ¿se puede considerar la IA simplemente como una herramienta? Creo que esta es una pregunta importante que contiene la clave para definir la relación entre la IA y los humanos.
🎤 Pregúntale al investigador
El investigador Jinhwa Lee, quien coescribió esta serie, es estudiante de doctorado en el laboratorio del autor del artículo Andrew Saxe. Para concluir el artículo, hice algunas preguntas.
P1. ¿Cómo aceptan los investigadores de las ciencias del cerebro este enfoque matemático? ¿Sientes que has ganado poder predictivo o crees que es una simplificación excesiva?
Aunque se trata claramente de una "simplificación", muchas personas parecen estar satisfechas con la claridad del mecanismo que proporciona este enfoque. Cuando vamos más allá de la observación de un fenómeno (las redes neuronales pueden aprender esto, pasan por un proceso de aprendizaje similar al de los humanos reales) y descubrimos cómo ciertos elementos de una red neuronal producen tal fenómeno, nuestra comprensión se vuelve completamente diferente. La importancia de estos enfoques físicos y matemáticos parece estar aumentando, no sólo en la ciencia del cerebro sino también en la IA en general. Una forma es seguir la intuición o realizar experimentos repetidos cambiando variables experimentales para encontrar fenómenos nuevos y útiles, pero ¿no sería posible formular hipótesis más precisas y planificar experimentos para confirmarlas basándose en esta comprensión profunda?
P2. Entiendo que tu título universitario fue en física. ¿Cómo empezaste a investigar la ciencia del cerebro? Tengo curiosidad por saber cómo empezó a interesarse.
Me especialicé en física cuando era estudiante porque admiraba la metodología de la física, pero de hecho, lo que siempre sentí curiosidad y quise saber más fue la ciencia cognitiva del cerebro y los fenómenos de la vida. Cuando tomé la clase de dogma del ADN mientras aprendía biología general, todavía recuerdo el sentimiento de sorpresa al preguntarme cómo se creó un mecanismo tan complejo a través de la evolución. Por otro lado, aunque la fenomenología se ha estudiado mucho en la ciencia cognitiva del cerebro, sentí que el mecanismo, tal como entendemos el ADN, aún no se conoce. Entonces comencé con la vaga idea de que quería estudiar el cerebro de esa manera.
P3. ¿Qué tipo de investigación estás haciendo estos días?
La pregunta que más me ha interesado en los últimos años es cómo las redes neuronales aprenden generalizaciones sistemáticas. La generalización sistemática se refiere a aprender un concepto o regla a partir de un número limitado de ejemplos y aplicarlo a nueva información o ejemplos. El lenguaje es el ejemplo más común. Por ejemplo, cuando somos niños, leemos y escuchamos un número limitado de oraciones, pero en algún momento entendemos la gramática del idioma y cómo se usan las diferentes palabras, y somos capaces de comprender y crear nuevas oraciones que nunca antes habíamos escuchado. Si lo piensas bien, es muy obvio, pero de hecho, no se sabe completamente cómo se aprende e implementa esto en una red neuronal. Comprenderlo mejor es actualmente el principal foco de investigación.
P4. Recientemente, se ha debatido mucho sobre si la IA podría ser consciente. ¿Cuál es el ambiente académico y qué piensa al respecto?
No creo que sepamos demasiado todavía para discutir los pros o los contras. Personalmente, creo que esto es similar a los primeros días de las redes neuronales, cuando se realizaban estudios fenomenológicos principalmente sobre lo que podían hacer sin una buena comprensión de sus principios. Para saber esto científicamente, ¿no deberíamos primero acordar una definición objetiva de qué es la "conciencia" y contar con el apoyo de experimentos sistemáticos y comprensión para ver si la IA sigue sus propiedades?
Me gustaría agradecer a la investigadora Jinhwa Lee por tomarse el tiempo de su apretada agenda de investigación para ayudarme a escribir el artículo y responder mis preguntas. Gracias a ti pude escuchar la historia más allá del papel.
Continúa “Historias de la industria contadas por expertos”. Cualquier persona de cualquier campo es bienvenida a hablar sobre temas candentes en el campo en el que están trabajando actualmente. Comuníquese con nosotros a través de comentarios o mensajes.
#Diagrama de tareas técnicas #IA #Ciencia del cerebro #Ciencia cognitiva #Aprendizaje profundo #Introducción al artículo