Bij het bestuderen van AI zijn er vragen die natuurlijk in je opkomen:
Als we ons brein goed begrijpen, kunnen we AI dan ook beter begrijpen? Omgekeerd: als we AI goed begrijpen, kunnen we dan ook de hersenen goed begrijpen? Nee, zijn ze daarvoor in de eerste plaats überhaupt vergelijkbaar?
Deze vraag is lastiger dan je denkt, en niemand heeft een eenvoudig antwoord.
Toen, in 2019, zorgde een artikel gepubliceerd in PNAS voor een doorbraak. Saxe et al., “Een wiskundige theorie van semantische ontwikkeling in diepe neurale netwerken” (PNAS, 2019).
Dit artikel is geschreven in samenwerking met de auteur van het artikel, Jin Hwa Lee, die werkt in het laboratorium van professor Saxe (The Thinking Lab, University College London).
🧠 Dichtbij en veraf, hersenwetenschap en AI
Van de jaren veertig tot de jaren tachtig toonden wetenschappers aan dat een neuraal netwerk gemodelleerd naar de operationele structuur van de hersenen de basis zou kunnen zijn voor AI.
In de jaren veertig brachten McCulloch en Pitts de werking van neuronen in een wiskundige vergelijking. Vervolgens stelden Rumelhart en McClelland in de jaren tachtig het PDP-model (parallel gedistribueerde verwerking) voor. Het idee was dat net zoals neuronen in de hersenen met elkaar verbonden zijn en parallel werken, er op die manier een kunstmatig neuraal netwerk zou kunnen worden ontworpen. Dit is de eerste keer dat is aangetoond dat 'intelligentie' kan worden geleerd met behulp van een structuur die de hersenen nabootst. Dit werd het directe startpunt voor het hedendaagse diepgaande leren.
Maar na verloop van tijd raakten de twee velden steeds verder van elkaar verwijderd.
De neurowetenschap heeft zich diep verdiept in de werkelijke neurale circuits. Het gaat biologisch diep, waarbij de hippocampus herinneringen creëert, de amygdala angst verwerkt en dopamine het leren van beloningen orkestreert.
AI heeft zich uitsluitend ontwikkeld op basis van prestaties. Transformers kwamen uit, en toen kwam het gigantische taalmodel uit. Het oorspronkelijke doel, het imiteren van neuronen, viel plotseling uit de boot.
Om het verschil tussen de twee samen te vatten, is het als volgt.
Neurowetenschappen spreken de taal van observatie:
Dit zijn allemaal uitvoerig verzamelde waarnemingsresultaten, maar het is onmogelijk te berekenen waarom ze zo zijn of hoe ze zullen veranderen als de omstandigheden veranderen.
AI spreekt de taal van vallen en opstaan:
Probeer het te wijzigen, controleer de resultaten en wijzig het opnieuw. We weten wat werkt, maar we weten niet waarom het werkt.
Vervolgens werd, na de hausse op het gebied van deep learning in de jaren 2010, de relatie tussen AI en hersenwetenschap opnieuw onderzocht. Er beginnen zelfs enkele interessante overeenkomsten tussen de twee naar voren te komen. Onderzoek heeft aangetoond dat deep learning-modellen die afbeeldingen leren hiërarchische activiteitspatronen vertonen die vergelijkbaar zijn met de visuele cortex van de hersenen (Yamins & DiCarlo, 2014), waardoor de verwachting wordt gewekt dat de twee velden elkaar kunnen helpen begrijpen.
In tegenstelling tot de verwachtingen was er echter geen significante vooruitgang in het wederzijds begrip. Hoewel er overeenkomsten werden waargenomen, werd nog steeds niet duidelijk uitgelegd waarom dergelijke verbanden plaatsvonden, en bleef het gesprek tussen de twee velden voornamelijk op het niveau van analogie. Dit komt omdat de talen die in de twee velden worden gebruikt verschillend zijn.
Om deze kloof te overbruggen was een derde taal nodig die beide vakgebieden konden delen.
💡 Door de krant gekozen strategie: opzettelijk eenvoudig
Het artikel van Saxe, dat in 2019 in PNAS werd gepubliceerd, toonde aan dat veranderingen in de ontwikkeling van onze cognitie kunnen worden voorspeld door het op neurale netwerken gebaseerde AI-leerproces uit te leggen met een formule. De taal die de principes van hoe de twee systemen werken kon verklaren, was wiskunde.
Vereenvoudiging kan details verhullen, maar kan ook het krachtigste wapen zijn om de essentie van een systeem te onthullen. De ideale gaswet in de natuurkunde verklaart de werkelijke gassen niet volledig, maar geeft nauwkeurig weer hoe gassen die uit talloze moleculen bestaan, veranderen en zich door een paar belangrijke variabelen bewegen.
Het was aanvankelijk niet de bedoeling van de auteurs om echte hersenen of state-of-the-art AI-modellen te analyseren. Dit komt omdat beide te complex zijn om volledig met formules op te lossen.
In plaats daarvan kozen de auteurs voor een model dat een diep lineair netwerk wordt genoemd. Dit is een eenvoudig netwerk waarbij de niet-lineaire activeringsfunctie is verwijderd.
🗝️ Kernpunt van het artikel: Neuraal netwerkleren oplossen met wiskunde
De auteurs representeren en lossen differentiaalvergelijkingen op voor hoe gewichten in de loop van de tijd veranderen bij het trainen van een diep lineair neuraal netwerk met behulp van gradiëntafdaling. Met andere woorden: het leerpatroon van het neurale netwerk wordt in realtime gevolgd.
Door differentiaalvergelijkingen op te lossen, zoals de ideale gaswet in het vorige voorbeeld, zou het leren van een neuraal netwerk dat uit tienduizenden items bestaat, kort kunnen worden verklaard met een veel kleiner aantal variabelen.
De resultaten kunnen als volgt worden samengevat. Neurale netwerken leren niet willekeurig patronen in data,
Het is geleerd.
Hier is wat meer uitleg over het belang van patronen.
Als je gegevens hebt die bestaan uit dieren en hun kenmerken, zijn er meerdere hiërarchieën van patronen daarin gemengd. Op dit moment verwijst het patroon naar de indeling die in de gegevens voorkomt, bijvoorbeeld 'Vogel of vis?', 'Duif of mus?' In dit geval is de hiërarchie verdeeld in patronen die sterk aanwezig zijn in de data en belangrijker zijn (“Vogel of Vis?”), en minder belangrijke patronen die slechts in een deel van de data voorkomen (“Dove of Sparrow”).
Met Gradiëntdaling worden patronen vastgelegd die eerst sterk in de gegevens voorkomen, en patronen die later alleen in delen van de gegevens voorkomen.
🔢Cognitieve wetenschap uitleggen met wiskunde
De bovenstaande resultaten verklaren verschillende verschijnselen die de cognitieve wetenschap de afgelopen decennia heeft waargenomen. Hier zijn er maar een paar.
① Grote categorieën (“dieren”) leren vóór kleine categorieën (“duiven”)
Kinderen begrijpen grotere categorieën vóór details. ‘Vogel’ komt vóór ‘duif’, ‘dier’ komt vóór ‘vogel’, enzovoort.
Volgens de formules in het artikel is deze volgorde van leren een wiskundige noodzaak.
② Piagets theorie van cognitieve ontwikkeling
Piaget zei dat de ontwikkeling van kinderen niet continu is. In plaats van beetje bij beetje te verbeteren, herhaalt zich het stadium van plotselinge sprong na een lange periode van stagnatie.
De uit de formule afgeleide S-vormige curve past hier precies bij. En omdat verschillende patronen op verschillende tijdstippen overgaan, zien ze er van buitenaf uit als ‘fasen’.
De stadia van de ontwikkeling van kinderen die Piaget heeft afgeleid uit tientallen jaren observatie van kinderen, zijn ook een wiskundige noodzaak van het leeralgoritme.
③ U-vormige leercurve - Tijdelijke fouten in het leerproces van kinderen
Er zijn gemeenschappelijke leerpatronen bij kinderen. Dit is het patroon van ‘een keer fout en dan gecorrigeerd’. Op de vraag ‘Kan zalm vliegen?’ is het antwoord bijvoorbeeld ‘Nee’ aan het begin van het leren. Maar op een gegeven moment is het antwoord even ‘ja’, en dan wordt het later weer ‘nee’. Dit geldt voor alle kinderen. Waarom is dat zo?
Omdat patronen worden geleerd in volgorde van belangrijkheid, komt er een punt waarop kinderen brede onderscheidingen hebben geleerd (“is/is geen dier”), maar nog geen specifiek onderscheid (“vogel versus vis”). Als we in deze situatie iets te weten komen over de onderverdeling (“vogels kunnen vliegen”), zal het netwerk, dat vogels en vissen nog steeds als dezelfde groep behandelt, de kenmerken van vogels ook op vissen toepassen. Zodra het leren van gedetailleerde classificaties is voltooid, verdwijnen deze fouten.
Met andere woorden: deze overgangsleerfouten die we allemaal in onze kindertijd hebben ervaren, zijn ook een wiskundige noodzaak.
Samenvattend heeft dit artikel alle verschijnselen afgeleid die door verschillende psychologen, door verschillende experimenten en door verschillende theorieën waren verklaard, uit formules die het leerproces van diepe neurale netwerken uitdrukken.
De auteurs beschrijven deze resultaten als een ‘wiskundig hanteerbaar venster’ op het proces waarbij hersenrepresentaties zich ontwikkelen door ervaring, hoewel deze eenvoudige formule niet het brein zelf betreft. En ik sluit het artikel af door te zeggen dat ik hoop dat dit venster op een dag zal dienen als een springplank om te onthullen hoe hoogdimensionale berekeningen van de geest voortkomen uit de biologische hardware die de hersenen worden genoemd.
🧭 Afronding
Het verhaal van deze aflevering was dat wiskunde de derde taal was die hersenwetenschap en AI met elkaar verbond, en dat hieruit talloze cognitieve wetenschappelijke feiten in één keer werden verklaard.
In het volgende deel zullen we kijken naar de bijdrage van dit artikel aan elk gebied van de hersenwetenschappen en AI, en welk antwoord het biedt op het al lang bestaande debat: “Worden mensen geboren met een schone lei?” Ik zal ook een korte vraag en antwoord toevoegen met onderzoeker Lee Jin-hwa, co-auteur van dit artikel.
#Technisch taakdiagram #AI #Hersenwetenschap #Cognitieve wetenschap #Deep learning #Papierintroductie