*Dieser Artikel wurde gemeinsam mit Jin Hwa Lee verfasst, einem Forscher im Labor von Professor Saxe (The Thinking Lab, University College London) und Autor des Artikels.
In der letzten Folge haben wir darüber gesprochen, wie die Lerndynamik der KI mit Gleichungen gelöst und die Phänomene, die die Kognitionswissenschaft seit Jahrzehnten beobachtet hat, konsequent erklärt wurden.
In dieser Folge werden wir herausfinden, welche Auswirkungen dieses Papier auf die einzelnen Bereiche hatte. Am Ende haben wir eine Frage-und-Antwort-Runde mit der Co-Autorin und Forscherin Jinhwa Lee hinzugefügt.
🔬 Neurowissenschaften: Von der Beobachtung zur Berechnung/Vorhersage
Die bloße Integration separat etablierter Experimente und Theorien, wie Piagets Stufentheorie und der Ordnung des Kategorienlernens, in ein einziges Prinzip ist bereits eine enorme Leistung.
Eine weitere Errungenschaft dieser Arbeit besteht darin, dass sie der Kognitionswissenschaft quantitative Analyse- und Vorhersagekraft verleiht. Die bisherige Kognitionswissenschaft beschränkte sich auf die Interpretation bereits eingetretener Phänomene. Allerdings besteht nun die Möglichkeit, anhand der Formel vorab zu berechnen, welches Phänomen unter welchen Bedingungen auftritt und zu wissen, welche Variablen angepasst werden müssen.
🤖 KI: Erklärungen zur ergebnisorientierten Entwicklung hinzufügen
Das Papier lieferte eine Antwort auf das „Warum“, das im KI-Bereich normalerweise fehlt.
Zu wissen, „warum“ ist nicht nur eine Frage der intellektuellen Befriedigung. Wenn Sie nicht wissen, warum etwas funktioniert, können Sie nicht vorhersagen, wann es scheitern wird, und Sie können nicht entwerfen, wie Sie es verbessern können. Dies ist auch der Grund, warum die KI-Entwicklung bisher weitgehend auf Versuch und Irrtum beruhte.
In diesem Artikel wird insbesondere erläutert, warum tiefe Netzwerke eine bessere Leistung erbringen als flache Netzwerke. Denn es stellt sich heraus, dass nur in tiefen Netzwerken alle im vorherigen Artikel beschriebenen Lernaspekte auftreten.
⚖️ Angeborene Theorie vs. Empirismus
Dieses Papier entfacht die Debatte über die „Angeborenheit der Intelligenz“, ein seltenes Problem in der Kognitionswissenschaft. Mit anderen Worten geht es um „Werden Menschen mit einer leeren Tafel (tabula rasa) geboren?“
Die angeborene Theorie ist die Behauptung, dass die kognitive Struktur des Menschen oder die Art und Weise, wie wir Konzepte und Kategorien organisieren, bei der Geburt im Gehirn verankert ist. Tatsächlich erwerben Kinder Sprache und Konzepte überraschend schnell und mit einer Effizienz, die nicht durch Erfahrung allein erklärt werden kann.
Chomsky, ein Vertreter der angeborenen Theorie, wandte dies auf den Spracherwerb an und sagte, dass es unmöglich sei, allein durch Erfahrung zu erklären, wie ein Kind mit nur unvollständigem Input die richtige Grammatik erwirbt. Das bedeutet, dass das Gehirn über ein angeborenes Spracherwerbsgerät verfügt.
Andererseits geht der Empirismus davon aus, dass unser Gehirn bei der Geburt ein leeres Blatt ist und alle Strukturen aus der Erfahrung hervorgehen. Allerdings blieb der Empirismus lange Zeit auf der Ebene der Simulation: „So funktioniert es“, und es war nicht einfach, Chomskys Argument zu widerlegen.
Dieses Papier bietet eine starke mathematische Grundlage für den Empirismus. Selbst wenn man von einer völlig leeren Liste zufälliger Gewichtungen ausgeht, entstehen spontan hierarchische Kategorien, Typizität und induktive Verzerrungen, sofern die statistische Struktur der Umgebung und der Gradientenabstieg erforderlich sind. Die Phänomene, von denen Chomsky sagte, dass sie nicht allein durch Erfahrung erklärt werden können, können leicht durch die Mathematik des Lernens erreicht werden.
Dieses Papier unterstützt jedoch nicht vorbehaltlos den Empirismus. Lernen basiert auf Erfahrung, erfordert jedoch eine bestimmte „Struktur“ (z. B. tiefe neuronale Netze, kleine Anfangsgewichte), damit das Lernen auf die oben beschriebene Weise erfolgt. Anstatt einfach zu sagen, dass entweder die angeborene Theorie oder der Empirismus richtig oder falsch sind, weist es auf eine genauere Nuance dazwischen hin.
🧭 Abschließend
Im Anschluss an dieses Papier schlug ein Nature Neuroscience-Artikel von Richards, Lillicrap, Ganguli, Saxe und anderen aus dem Jahr 2019 einen Rahmen vor, um neurowissenschaftliche Entdeckungen systematisch mit dem KI-Design zu verbinden. Neurowissenschaften und KI beginnen, sich wirklich miteinander zu verbinden.
Was mich persönlich an dieser Arbeit am meisten beeindruckte, war, dass die Mathematik einige Antworten auf grundlegende menschliche Fragen lieferte, wie etwa die Debatte zwischen Innateismus und Empirismus. Wenn die Mathematik die Entwicklung von Konzepten und Kategorien erklärt, kann sie dann auch Emotionen, Kreativität und Bewusstsein erklären? Wenn die Art und Weise, wie ich die Welt verstehe und die Konzepte, die ich derzeit habe, eine Kombination aus der Umgebung, in der ich gelebt habe, und mathematischer Unvermeidlichkeit sind, dann könnte die Person, die ich bin, das Ergebnis einer Art Mathematik sein.
Wenn die Art und Weise, wie die KI die Sprache gelernt hat, und die Art und Weise, wie ich die Sprache gelernt habe, denselben mathematischen Prinzipien folgen, können wir dann sagen, dass die KI die Sprache auch wirklich versteht? Kann KI darüber hinaus nur als Werkzeug betrachtet werden? Ich denke, das ist eine wichtige Frage, die den Schlüssel zur Definition der Beziehung zwischen KI und Menschen darstellt.
🎤 Fragen Sie den Forscher
Die Forscherin Jinhwa Lee, Mitautorin dieser Serie, ist Doktorandin im Labor des Papierautors Andrew Saxe. Zum Abschluss des Artikels habe ich ein paar Fragen gestellt.
Q1. Wie akzeptieren Hirnforscher diesen mathematischen Ansatz? Haben Sie das Gefühl, dass Sie an Vorhersagekraft gewonnen haben, oder halten Sie das für eine zu starke Vereinfachung?
Obwohl es sich eindeutig um eine „Vereinfachung“ handelt, scheinen viele Menschen mit der Klarheit des Mechanismus, den dieser Ansatz bietet, zufrieden zu sein. Wenn wir über die Beobachtung eines Phänomens hinausgehen (neuronale Netzwerke können dies lernen, sie durchlaufen einen Lernprozess, der dem von echten Menschen ähnelt) und herausfinden, wie bestimmte Elemente eines neuronalen Netzwerks ein solches Phänomen hervorrufen, wird unser Verständnis völlig anders. Die Bedeutung dieser physikalischen und mathematischen Ansätze scheint nicht nur in der Hirnforschung, sondern auch in der KI im Allgemeinen zuzunehmen. Eine Möglichkeit besteht darin, der Intuition zu folgen oder wiederholte Experimente durchzuführen, indem experimentelle Variablen geändert werden, um neue und nützliche Phänomene zu finden. Aber wäre es nicht möglich, auf der Grundlage dieses tiefen Verständnisses präzisere Hypothesen zu formulieren und Experimente zu deren Bestätigung zu planen?
Q2. Soweit ich weiß, haben Sie Ihren Bachelorabschluss in Physik gemacht. Wie haben Sie mit der Erforschung der Hirnforschung begonnen? Ich bin gespannt, wie Ihr Interesse geweckt wurde.
Als Student habe ich Physik als Hauptfach studiert, weil ich die Methodik der Physik bewunderte, aber eigentlich war ich schon immer neugierig und wollte mehr über die kognitive Wissenschaft des Gehirns und Lebensphänomene wissen. Als ich parallel zum Studium der allgemeinen Biologie den DNA-Dogma-Kurs belegte, erinnere ich mich noch an das Gefühl der Überraschung, als ich mich fragte, wie ein so komplexer Mechanismus durch die Evolution geschaffen wurde. Andererseits hatte ich das Gefühl, dass der Mechanismus, genau wie wir die DNA verstehen, noch nicht bekannt ist, obwohl die Phänomenologie in der Gehirnkognitionswissenschaft ausführlich untersucht wurde. Also begann ich mit der vagen Idee, dass ich das Gehirn auf diese Weise untersuchen wollte.
Q3. Welche Art von Forschung betreiben Sie derzeit?
Die Frage, die mich in den letzten Jahren am meisten interessiert, ist, wie neuronale Netze systematische Verallgemeinerungen lernen. Unter systematischer Verallgemeinerung versteht man das Erlernen eines Konzepts oder einer Regel aus einer begrenzten Anzahl von Beispielen und die Anwendung dieser auf neue Informationen oder Beispiele. Sprache ist das häufigste Beispiel. Als Kinder lesen und hören wir beispielsweise eine begrenzte Anzahl von Sätzen, aber irgendwann verstehen wir die Grammatik der Sprache und die Verwendung verschiedener Wörter und sind in der Lage, neue Sätze zu verstehen und zu bilden, die wir noch nie zuvor gehört haben. Wenn man darüber nachdenkt, ist es so offensichtlich, aber tatsächlich ist nicht vollständig bekannt, wie dies gelernt und in einem neuronalen Netzwerk implementiert wird. Sie besser zu verstehen, steht derzeit im Mittelpunkt der Forschung.
Q4. In letzter Zeit wird viel darüber diskutiert, ob KI bewusst sein könnte. Wie ist die akademische Atmosphäre und was denken Sie darüber?
Ich denke, wir wissen noch nicht zu viel, um über Vor- und Nachteile zu diskutieren. Ich persönlich habe das Gefühl, dass dies mit den Anfängen neuronaler Netze vergleichbar ist, als phänomenologische Studien hauptsächlich darüber durchgeführt wurden, was sie ohne ein gutes Verständnis ihrer Prinzipien leisten könnten. Um dies wissenschaftlich herauszufinden, sollten wir uns nicht zunächst auf eine objektive Definition dessen einigen, was „Bewusstsein“ ist, und uns dabei auf systematische Experimente und Erkenntnisse stützen, um zu sehen, ob die KI ihren Eigenschaften folgt?
Ich möchte der Forscherin Jinhwa Lee dafür danken, dass sie sich trotz ihres vollen Forschungsplans die Zeit genommen hat, mir beim Schreiben des Artikels und bei der Beantwortung meiner Fragen zu helfen. Dank Ihnen konnte ich die Geschichte außerhalb der Zeitung hören.
„Branchengeschichten von Experten erzählt“ geht weiter. Jeder aus allen Bereichen ist willkommen, über aktuelle Themen in dem Bereich zu sprechen, in dem er gerade arbeitet. Bitte kontaktieren Sie uns über Kommentare oder Nachrichten.
#Technisches Aufgabendiagramm #KI #Gehirnwissenschaft #Kognitionswissenschaft #Deep Learning #Papiereinführung