*Dit artikel is geschreven in samenwerking met Jin Hwa Lee , een onderzoeker die werkt in het laboratorium van professor Saxe (The Thinking Lab, University College London) en de auteur van het artikel.
In de laatste aflevering spraken we over hoe de leerdynamiek van AI werd opgelost met vergelijkingen, en hoe de verschijnselen die de cognitieve wetenschap decennia lang had waargenomen, op consistente wijze werden verklaard.
In deze aflevering ontdekken we welke impact dit artikel op elk vakgebied had. Aan het einde hebben we een vraag-en-antwoordsessie opgenomen met co-auteur, onderzoeker Jinhwa Lee.
🔬 Neurowetenschappen: van observatie tot berekening/voorspelling
Alleen al de integratie van afzonderlijk opgestelde experimenten en theorieën, zoals de fasetheorie van Piaget en de volgorde van het leren van categorieën, in één enkel principe is al een enorme prestatie.
Een andere prestatie van dit artikel is dat het kwantitatieve analyse en voorspellende kracht geeft aan de cognitieve wetenschap. De vroegere cognitieve wetenschap was beperkt tot het interpreteren van verschijnselen die zich achteraf al hadden voorgedaan. Nu bestaat er echter de mogelijkheid om op basis van de formule vooraf te berekenen welk fenomeen onder welke omstandigheden zal optreden en om te weten welke variabelen moeten worden aangepast.
🤖 AI: Toelichting toevoegen aan resultaatgericht ontwikkelen
Het artikel gaf een antwoord op het ‘waarom’ dat het AI-veld doorgaans ontbeert.
Weten ‘waarom’ is niet alleen een kwestie van intellectuele bevrediging. Als je niet weet waarom iets werkt, kun je ook niet voorspellen wanneer het zal mislukken, en kun je ook niet ontwerpen hoe je het kunt verbeteren. Dit is ook de reden waarom de ontwikkeling van AI tot nu toe grotendeels berustte op vallen en opstaan.
In dit artikel wordt met name uitgelegd waarom diepe netwerken beter presteren dan ondiepe netwerken. Omdat het blijkt dat alleen in diepe netwerken alle leeraspecten die in het vorige artikel zijn beschreven, voorkomen.
⚖️Aangeboren theorie versus empirisme
Dit artikel wakkert het debat over de ‘aangeborenheid van intelligentie’ weer aan, een zeldzaam probleem in de cognitieve wetenschap. Met andere woorden, het gaat over “Worden mensen geboren met een schone lei (tabula rasa)?”
Aangeboren theorie is de bewering dat de menselijke cognitieve structuur, of de manier waarop we concepten en categorieën organiseren, bij de geboorte in de hersenen is ingebed. In feite verwerven kinderen taal en concepten verrassend snel en met een efficiëntie die niet alleen door ervaring kan worden verklaard.
Chomsky, een vertegenwoordiger van de aangeboren theorie, paste dit toe op taalverwerving en zei dat het onmogelijk is om alleen door ervaring uit te leggen hoe een kind de juiste grammatica verwerft met slechts onvolledige input. Dit betekent dat de hersenen een aangeboren taalverwervingsapparaat hebben.
Aan de andere kant stelt het empirisme dat onze hersenen bij de geboorte een schone lei zijn en dat alle structuren voortkomen uit ervaring. Lange tijd bleef het empirisme echter op het niveau van simulatie: ‘Zo werkt het’, en het was niet eenvoudig om Chomsky’s argument te weerleggen.
Dit artikel biedt een sterke wiskundige basis voor empirisme. Zelfs als we uitgaan van een geheel blanco lei van willekeurige gewichten, komen hiërarchische categorieën, typiciteit en inductieve vooroordelen spontaan naar voren, zolang de statistische structuur van de omgeving en de gradiëntdaling vereist zijn. De verschijnselen waarvan Chomsky zei dat ze niet alleen door ervaring kunnen worden verklaard, kunnen gemakkelijk worden bereikt door middel van de wiskunde van het leren.
Dit artikel ondersteunt echter niet onvoorwaardelijk het empirisme. Leren is gebaseerd op ervaring, maar vereist een bepaalde ‘structuur’ (bijvoorbeeld diepe neurale netwerken, kleine initiële gewichten) om het leren op de hierboven beschreven manier te laten plaatsvinden. In plaats van eenvoudigweg te zeggen dat de aangeboren theorie of het empirisme goed of fout is, wijst het op een nauwkeurigere nuance daartussenin.
🧭 Ter afsluiting
Naar aanleiding van dit artikel stelde een Nature Neuroscience-artikel uit 2019 van Richards, Lillicrap, Ganguli, Saxe en anderen een raamwerk voor om neurowetenschappelijke ontdekkingen systematisch te verbinden met AI-ontwerp. Neurowetenschappen en AI beginnen echt met elkaar in verbinding te komen.
Persoonlijk was het meest indrukwekkende aan dit artikel dat de wiskunde enkele antwoorden gaf op fundamentele menselijke vragen, zoals het debat tussen innateisme en empirisme. Als wiskunde de ontwikkeling van concepten en categorieën verklaart, kan het dan ook emoties, creativiteit en bewustzijn verklaren? Als de manier waarop ik de wereld begrijp en de concepten die ik momenteel heb een combinatie zijn van de omgeving waarin ik heb geleefd en wiskundige onvermijdelijkheid, dan kan de persoon die ik ben het resultaat zijn van een of andere vorm van wiskunde.
En als de manier waarop de AI de taal heeft geleerd en de manier waarop ik de taal heb geleerd dezelfde wiskundige principes volgen, kunnen we dan zeggen dat de AI de taal ook echt begrijpt? Kan AI bovendien worden gezien als slechts een hulpmiddel? Ik denk dat dit een belangrijke vraag is die de sleutel vormt voor het definiëren van de relatie tussen AI en mensen.
🎤 Vraag het aan de onderzoeker
Onderzoeker Jinhwa Lee, die deze serie mede schreef, is een promovendus in het laboratorium van papierauteur Andrew Saxe. Ter afsluiting van het artikel heb ik een aantal vragen gesteld.
Q1. Hoe accepteren hersenwetenschappers deze wiskundige benadering? Heb je het gevoel dat je voorspellende kracht hebt gekregen, of denk je dat dit een te grote vereenvoudiging is?
Hoewel het duidelijk om een 'vereenvoudiging' gaat, lijken veel mensen tevreden te zijn met de duidelijkheid van het mechanisme dat deze aanpak biedt. Wanneer we verder gaan dan de observatie van een fenomeen (neurale netwerken kunnen dit leren, ze doorlopen een leerproces dat vergelijkbaar is met dat van echte mensen) en ontdekken hoe bepaalde elementen van een neuraal netwerk zo’n fenomeen veroorzaken, wordt ons begrip compleet anders. Het belang van deze fysische en wiskundige benaderingen lijkt toe te nemen, niet alleen in de hersenwetenschap, maar ook in AI in het algemeen. Eén manier is om intuïtie te volgen of herhaalde experimenten uit te voeren door experimentele variabelen te veranderen om nieuwe en bruikbare verschijnselen te vinden. Maar zou het niet mogelijk zijn om preciezere hypothesen te formuleren en experimenten te plannen om ze te bevestigen op basis van dit diepgaande inzicht?
Vraag 2. Ik begrijp dat je bachelordiploma natuurkunde was. Hoe bent u begonnen met onderzoek naar hersenwetenschappen? Ik ben benieuwd hoe je voor het eerst geïnteresseerd raakte.
Ik heb als bachelor natuurkunde gestudeerd omdat ik de methodologie van de natuurkunde bewonderde, maar waar ik eigenlijk altijd nieuwsgierig naar was en waar ik meer over wilde weten, was de cognitieve wetenschap van de hersenen en levensverschijnselen. Toen ik de cursus DNA-dogma volgde terwijl ik algemene biologie leerde, herinner ik me nog steeds het gevoel van verrassing toen ik me afvroeg hoe zo’n complex mechanisme door evolutie tot stand kwam. Aan de andere kant, hoewel de fenomenologie veel is bestudeerd in de cognitieve wetenschap van de hersenen, had ik het gevoel dat het mechanisme, net zoals wij DNA begrijpen, nog niet bekend is. Dus begon ik met het vage idee dat ik op die manier de hersenen wilde bestuderen.
Q3. Wat voor onderzoek doe jij tegenwoordig?
De vraag waarin ik de afgelopen jaren het meest geïnteresseerd ben geweest, is hoe neurale netwerken systematische generalisaties leren. Systematische generalisatie verwijst naar het leren van een concept of regel uit een beperkt aantal voorbeelden en het toepassen hiervan op nieuwe informatie of voorbeelden. Taal is het meest voorkomende voorbeeld. Als kinderen lezen en horen we bijvoorbeeld een beperkt aantal zinnen, maar op een gegeven moment begrijpen we de grammatica van de taal en hoe verschillende woorden worden gebruikt, en kunnen we nieuwe zinnen begrijpen en creëren die we nog nooit eerder hebben gehoord. Als je erover nadenkt, is het zo voor de hand liggend, maar in feite is het niet helemaal bekend hoe dit wordt geleerd en geïmplementeerd in een neuraal netwerk. Het beter begrijpen ervan is momenteel de belangrijkste onderzoeksfocus.
Q4. De laatste tijd is er veel discussie geweest over de vraag of AI bewust zou kunnen zijn. Wat is de academische sfeer en uw mening hierover?
Ik denk dat we nog niet zo veel weten om de voor- en nadelen te bespreken. Persoonlijk denk ik dat dit vergelijkbaar is met de begindagen van neurale netwerken, toen fenomenologische studies vooral werden uitgevoerd naar wat ze konden doen zonder een goed begrip van hun principes. Om dit wetenschappelijk te weten te komen, moeten we het niet eerst eens worden over een objectieve definitie van wat 'bewustzijn' is en ondersteund worden door systematische experimenten en inzicht om te zien of AI zijn eigenschappen volgt?
Ik wil onderzoeker Jinhwa Lee bedanken voor het vrijmaken van tijd in haar drukke onderzoeksschema om mij te helpen het artikel te schrijven en mijn vragen te beantwoorden. Dankzij jou kon ik het verhaal ook buiten de krant horen.
‘Industrieverhalen verteld door experts’ gaat verder. Iedereen uit welk vakgebied dan ook is welkom om te praten over actuele kwesties in het vakgebied waarin ze momenteel werkzaam zijn. Neem contact met ons op via opmerkingen of berichten.
#Technisch taakdiagram #AI #Hersenwetenschap #Cognitieve wetenschap #Deep learning #Papierintroductie