Overslaan en naar de inhoud gaan

Zelfs neuraal netwerk heeft baat bij slaap

Dat slaap erg belangrijk is voor de menselijke geest, is bekend. Uit onderzoek van de University of California - San Diego blijkt dat sommige kunstmatige neurale netwerken ook efficiënter werken door leerprocessen af en toe te onderbreken met een periode van 'slaap'.
slaapanalyse
© Shutterstock
Shutterstock

Neurale netwerken hebben de neiging in opeenvolgende leerprocessen de informatie die is opgeslagen in het geheugen te overschrijven met nieuwe informatie. Dit effect wordt wel 'catastrophic forgetting' genoemd en vermindert de efficiency van de training.

Het effect is vooral bekend van spiking neural networks, een relatief nieuwe vorm van neurale netwerken die wordt gekenmerkt door hun asynchroon werking - dus zonder klok, maar met 'spikes' (signaalpieken) in de tijd. Daarmee lijkt deze vorm van neurale netwerken sterk op de werking van biologische neuronen.

Onderzoekers van de University of California - San Diego (UCSD) hebben de vergelijking met het menselijk brein verder doorgetrokken om een oplossing te zoeken voor dit 'catastrophic forgetting'-probleem. Menselijke hersenen leren gedurende de dag ook continue, maar het is bekend dat kleine slaapjes (power naps) heel goed zijn voor betere cognitieve prestaties. Slaap zorgt ervoor dat in het lichaam tot rust komt maar het brein is juist heel actief. Recente gebeurtenissen worden herbeleefd en de ervaringen worden opgeslagen als kennis in het langetermijngeheugen. 

'Catastrophic forgetting' valt te vermijden

Uit de experimenten van het team onder leiding van Maxim Bazhenov, blijkt dat een vergelijkbaar effect kan optreden bij kunstmatige neurale netwerken. Door de training van het neuraal netwerk periodiek te onderbreken met rust of slaap, bleek het mogelijk het optreden van 'catastrophic forgetting' te vermijden.

"Als we nieuwe dingen leren, vuren neuronen in een specifieke volgorde en daarbij neemt de afstand tussen neuronen groter. Gedurende de slaapperiode worden spontaan deze spiking patronen herhaald. Dat noemen we reactivatie of 'replay'", zegt Bazhenov in een verklaring van de universiteit. "Plasticiteit van synapsen, ofwel de mogelijkheid van vorm te veranderen, werkt ook tijdens de slaap. Daardoor veranderen de patronen in het gewicht (het belang) van synapsen die het geheugen vertegenwoordigen. Dat zorgt ervoor dat dingen niet vergeten worden en dat kennis van oude taken in nieuwe taken wordt opgenomen."

Met deze kennis werden de experimenten met kunstmatige neurale netwerken opgezet. Daarbij bleek dat spiking neural networks op dezelfde manier oude herinneringen opnieuw kunnen afspelen zonder dat daarvoor expliciet oude trainingsgegevens werden gebruikt.

Bazhenov claimt dat het team daarmee bewezen heeft dat kennis over hoe het menselijk brein informatie verwerkt, kan worden toegepast bij de optimalisatie van neurale netwerken.

Reacties

Om een reactie achter te laten is een account vereist.

Inloggen Word abonnee

Bevestig jouw e-mailadres

We hebben de bevestigingsmail naar %email% gestuurd.

Geen bevestigingsmail ontvangen? Controleer je spam folder. Niet in de spam, klik dan hier om een account aan te maken.

Er is iets mis gegaan

Helaas konden we op dit moment geen account voor je aanmaken. Probeer het later nog eens.

Maak een gratis account aan en geniet van alle voordelen:

Heb je al een account? Log in

Maak een gratis account aan en geniet van alle voordelen:

Heb je al een account? Log in