Eindhovense robot puzzelt zich als mens uit doolhof

Een doolhof is een populair instrument onder psychologen om het leervermogen van muizen of ratten te testen. Maar hoe zit dat met robots? Kunnen die leren om zelfstandig de uitgang van een labyrint te vinden? Onderzoekers van de Technische Universiteit Eindhoven en het Max Planck Instituut in Mainz hebben laten zien dat het kan. Hun neuromorfe robot baseert zijn beslissingen op hetzelfde systeem dat wij mensen gebruiken om te denken en te handelen: ons brein. De studie, die is gepubliceerd in Science Advances, biedt uitzicht op spannende nieuwe toepassingen van neuromorfe apparaten in bijvoorbeeld de gezondheidszorg en edge computing.

Neurale netwerken en machine learning staan de laatste jaren volop in de belangstelling. En dat is niet voor niks, gezien de vele successen op het gebied van beeldherkenning, medische diagnose, e-commerce en vele andere gebieden. Toch kleven er ook nadelen aan deze softwarematige benadering van machine-intelligentie, niet in het minst omdat er zoveel stroom nodig is om de algoritmen te trainen.

Dit energieprobleem is een van de redenen waarom onderzoekers hebben geprobeerd computers te ontwikkelen die veel zuiniger zijn. Daarbij laten ze zich inspireren door het menselijk brein, een denkende machine die door de slimme manier waarop geheugen en verwerking samenwerken juist erg weinig energie gebruikt.

Neuronen in onze hersenen communiceren met elkaar via zogeheten synapsen, die telkens als er informatie doorheen stroomt, sterker worden. Het is dit vermogen (dat bekend staat als plasticiteit) dat maakt dat mensen dingen kunnen onthouden en leren.

‘In ons onderzoek hebben we dit model gebruikt om een robot te ontwikkelen die in staat is om te leren bewegen door een labyrint’, vertelt Imke Krauhausen, promovendus aan de faculteit Mechanical Engineering van de TUE en hoofdauteur van het artikel. ‘Net zoals een synaps in een muizenbrein wordt versterkt telkens wanneer het beestje de juiste kant opgaat in een doolhof, wordt ons apparaat ‘getuned’ door een bepaalde hoeveelheid elektriciteit toe te dienen. Door de weerstand in het apparaat te manipuleren, verander je de spanning die de motoren aanstuurt. Die bepalen op hun beurt of de robot naar rechts of naar links draait.’

Zestien runs

De robot die Krauhausen en haar collega’s voor hun onderzoek gebruikten, is een Mindstorms EV3, een roboticakit gemaakt door Lego. Uitgerust met twee wielen, traditionele besturingssoftware om ervoor te zorgen dat hij een lijn kan volgen, en een aantal reflectie- en aanraaksensoren, werd hij een groot doolhof van twee vierkante meter ingestuurd dat bestaat uit zwart omlijnde zeshoeken in een honingraatachtig patroon.

De robot is geprogrammeerd om standaard rechtsaf te slaan. Telkens wanneer hij een doodlopende weg bereikt of afwijkt van het aangegeven pad naar de uitgang (die wordt aangegeven door visuele signalen), wordt hem verteld om te keren of naar links te gaan. Deze corrigerende stimulans wordt vervolgens in het neuromorfische apparaat opgeslagen voor de volgende poging.

‘Uiteindelijk had onze robot zestien runs nodig om de uitgang te vinden,” zegt Krauhausen. ‘Het mooie is dat, als hij eenmaal heeft geleerd deze specifieke route te volgen, hij elk ander pad dat hem wordt opgegeven in één keer kan doorlopen. De kennis die hij heeft opgedaan is dus generaliseerbaar.’

Een deel van het succes van de robot ligt in de unieke integratie van sensoren en motoren, aldus Krauhausen, die voor dit onderzoek nauw samenwerkte met het Max Planck Instituut voor Polymeeronderzoek in Mainz. ‘Deze sensorimotorische integratie, waarbij zintuig en beweging elkaar versterken, is ook heel erg hoe de natuur werkt, dus dit is wat we hebben geprobeerd na te bootsen in onze robot.’

Slimme polymeren

Een ander slimmigheidje is het organische materiaal dat voor de neuromorfische robot is gebruikt. Het gaat om een polymeer dat bekend staat als p(g2T-TT). Het materiaal is niet alleen stabiel, maar ook erg goed in het vasthouden van de specifieke toestanden waarin het is ‘getuned’ tijdens de verschillende runs door het labyrint. Dit zorgt ervoor dat het aangeleerde gedrag blijft ‘hangen’, net zoals neuronen en synapsen in een menselijk brein gebeurtenissen of handelingen onthouden.

Het gebruik van polymeer in plaats van silicium voor neuromorfe elektronica werd ontwikkeld door Paschalis Gkoupidenis van het Max Planck Instituut voor Polymeeronderzoek in Mainz en Yoeri van de Burgt van de TUE, beide co-auteurs van het paper. In hun onderzoek uit 2015 en 2017 lieten ze zien dat dit materiaal in een veel groter geleidingsbereik kan worden afgestemd dan anorganische materialen, en dat het in staat is om geleerde toestanden gedurende langere perioden te ‘onthouden’ of op te slaan. Sindsdien zijn organische apparaten een hot topic geworden in de wereld van hardwaregebaseerde kunstmatige neurale netwerken.

Bionische handen

Polymeren hebben als bijkomend voordeel dat ze in talrijke biomedische toepassingen kunnen worden gebruikt. ‘Omdat ze organisch zijn, kunnen deze slimme apparaten worden geïntegreerd met echte zenuwcellen. Stel dat je je arm verliest door een ongeluk. Dan zou je deze apparaten in principe kunnen gebruiken om je lichaam te koppelen aan een bionische hand’, zegt Krauhausen.

Een andere veelbelovende toepassing van organische, neuromorfe computers ligt in de wereld van edge computing. Daarbij worden data van sensoren lokaal buiten de cloud om opgeslagen en verwerkt. Van de Burgt: ‘Daar zie ik echt een toekomst voor onze apparaten: ze zijn makkelijk te tunen, gebruiken veel minder stroom, en zijn ook nog eens goedkoop om te maken.’

Zullen neuromorfe robots ooit in staat zijn om een potje te voetballen, net als de succesvolle voetbalrobots van de TUE?

Krauhausen: ‘In principe is dat zeker mogelijk, maar er is nog een lange weg te gaan. Onze robots zijn nog deels afhankelijk van traditionele software om zich voort te bewegen. En om de neuromorfe robots echt complexe taken te laten uitvoeren, moeten we neuromorfe netwerken bouwen waarin veel apparaten in een raster samenwerken. Dat is iets waarmee ik me in de volgende fase van mijn promotieonderzoek ga bezighouden.’