Toon een robot je skills in physical of virtual reality

Hoe breng je de bewegingen van een ervaren lakker over op een robotarm die de taak moet overnemen? Flanders Make gebruikte een scala aan technieken, van physical reality tot virtual reality, om een omgeving te creëren waarin het eenvoudig wordt om een robot te programmeren. ‘In twee minuten maken we een programma. Dat duurt normaal uren.’

Alexander Pil

Leveranciers van collaboratieve robots blazen vaak hoog van de toren. Zo zeggen ze bijvoorbeeld dat hun systemen gemakkelijk te programmeren zijn. Voor eenvoudige bewegingen, zoals het oppakken en neerzetten van een doos, klopt dat ook. Dat is kinderspel. Voor complexe bewegingen wordt het echter al snel een stuk lastiger om de robot van de juiste instructies te voorzien.

Twee bedrijven klopten aan bij onderzoekscentrum Flanders Make omdat ze allebei tegen het probleem aanliepen dat ze ingewikkelde menselijke armbewegingen moeilijk konden overzetten naar een robot. Toevalligerwijs ging het in beide gevallen om het lakken van werkstukken. ‘Het ene bedrijf is gefocust op het flexibel lakken van producten. Het gaat daar om kleine batches van complexe stukken die nu nog vaak met de hand worden gespoten’, vertelt Jan Wellemans, robotspecialist bij Flanders Make. ‘Bij het andere bedrijf draait het om de standaardisatie van het lakproces. Dat bedrijf doet massaproductie en zocht een manier waarop het zijn robots eenvoudig en robuust kon programmeren.’

Als engineers nu een nieuw besturingsprogramma voor een spuitrobot moeten ontwikkelen, is dat namelijk een zeer iteratief proces. Via meerdere tests in dry- en wetruns komen ze steeds een stapje dichterbij totdat hun code in de werkcel naar behoren functioneert. Dat is een tijdrovende aanpak, waarbij de productielijn een paar dagen stilstaat. Voor heel grote series is dat wellicht nog acceptabel, maar beide bedrijven zochten een betere aanpak voor hun high mix, low volume-productieomgeving.

Mixed realities

Samen met deze bedrijven en een aantal onderzoekpartners startte Flanders Make het Prorob-project om deze uitdaging het hoofd te bieden. ‘Het doel van het project was het creëren van een intuïtieve en gebruiksvriendelijke omgeving, gebaseerd op virtual, augmented, of mixed reality die snelle en nauwkeurige programmering van industriële robots toelaat’, zegt Willem Mahy, AR/VR-expert bij Flanders Make.

Mahy wil eerst duidelijkheid scheppen in het soms onoverzichtelijke landschap van wat bekend staat als XR-technologieën. ‘De nomenclatuur is niet gestandaardiseerd, waardoor er nogal eens verwarring heerst. Aan de ene kant van het spectrum heb je physical reality, PR, waar helemaal niks virtueel is. In dit geval heb je dus een echte spuiter, met een echte spraygun en echte verf in een echte cel’, legt Mahy uit. ‘Aan de andere kant staat virtual reality, waarbij een operator weliswaar een fysieke controller in zijn hand heeft, maar hij volledig is afgeschermd van de buitenwereld en alles virtueel ziet en ervaart. De omgeving, de spraygun, de verf, de omgeving, alles is virtueel.’

Tussen die twee uitersten heb je het over mixed reality. ‘Augmented reality is daar een voorbeeld van. Daar is heel duidelijk waar de realiteit ophoudt en het virtuele beeld begint’, zegt Mahy. ‘Het hoogste niveau van mixed reality is wanneer een gebruiker het onderscheid niet meer kan maken tussen wat echt is en wat niet. Binnen dat hele spectrum aan XR-technieken zoeken we in het Prorob-project naar de juiste oplossingen.’

Tracker

Wellemans vertelt dat bedrijven op dit moment vooral geïnteresseerd zijn in physical reality. ‘De operators weten prima hoe ze een werkstuk moeten spuiten, maar er is nood om die kennis te vertalen naar de robot’, zegt hij. ‘Robotprogrammeurs moeten heel wat moeilijke handelingen en bewegingen omzetten in een robottraject. Het zou heel handig zijn als ze die in een PR-setting kunnen capteren.’

Om dat mogelijk te maken, hebben de onderzoekers een 6D-tracker op de spraygun gemonteerd. ‘De operator kan normaal zijn werk doen, met de spraygun die hij kent, in een omgeving die hij gewoon is en met een object waarvan hij weet hoe het moet worden gelakt’, schetst Wellemans. Vier basisstations in de lakcel registeren continu de positie en oriëntatie van de tracker, en dus van de gun. ‘Zo vangen we de skills van de operator. Welke bewegingen heeft hij gemaakt? Waar heeft hij stilgestaan? Wanneer was de spraygun uit of aan?’

Mahy vult aan: ‘Het is dus een echte spraygun met echte verf. Een operator verwerkt het eerste stuk in een serie in real life. Wij capteren zijn bewegingen zodat we die kunnen omzetten naar de robotaansturing.’

RoboDK

De meetfrequentie van de basisstations is hoog. ‘Eigenlijk een beetje te hoog’, heeft Wellemans ervaren. ‘Als we het traject volledig zouden volgen, levert dat te veel meetpunten op. De robot wordt dan schokkerig. Aan ons dus de taak om de belangrijkste, karakteristieke punten in het pad te identificeren zodat de robot soepel beweegt.’

Flanders Make gebruikt het simulatie- en programmeerpakket RoboDK. ‘Daarin kunnen we een werkstuk tonen, bewegingen tracken in PR en VR, en het door middel van gesimuleerde robottrajecten weergeven’, vertelt Mahy. ‘Dat kunnen we ook allemaal analyseren en tweaken. Als we tevreden zijn, kunnen we het programma in RoboDK simuleren, bijvoorbeeld om te kijken of er geen botsingen optreden. Uiteindelijk genereert RoboDK dan de code voor verschillende robotmerken. We hebben tests gedaan met ABB, Staübli en Universal Robots. Voor ons is zo’n commercieel beschikbaar pakket ideaal, omdat we maar in één interface hoefden te voorzien.’

Taarten glazuren

De onderzoekers van Flanders Make hebben een demonstrator gebouwd om taarten te glazuren. ‘We hebben daar gekozen voor een VR-setting omdat het op een beursvloer niet handig is om de captaties met een echte glazuurspuit te doen’, zegt Wellemans. ‘Maar we laten daarmee zien dat we de bewegingen via VR kunnen vastleggen, het programma kunnen genereren en dat kunnen laten uitvoeren op de robot.’

Mahy: ‘De captaties met PR en VR staan al goed op punt.’ Voor wat betreft mixed reality hebben de onderzoekers alleen de eerste tests gedaan. Eventuele vervolgstappen pasten niet meer in het Prorob-project dat deze zomer afliep. ‘Met MR zijn er twee mogelijkheden. De eerste is dat we werken met een VR-bril die de gebruiker afschermt van de buitenwereld, maar waarop we de werkelijkheid direct weergeven’, legt Mahy uit. ‘Aan die live videostroom voegen we dan virtuele elementen toe zoals een virtuele spraygun, virtuele verf en een virtueel werkstuk. Als we alles netjes hebben uitgelijnd, kun je zo alle bewegingen capteren en zelfs acties herstellen als je iets kunt verbeteren.’

De tweede optie voor mixed reality is via de bekende Hololens. ‘Daarmee hebben we een proof of concept gedaan’, vertelt Mahy. ‘We wilden weten of het mogelijk is om met die Hololens virtuele verf te renderen op het reële werkstuk. Dat lijkt mogelijk, maar het vereist nog nader onderzoek.’

Uit de losse pols

Ook bij de twee industriële partijen die het vraagstuk bij Flanders Make neerlegden, werden tests uitgevoerd. Wellemans vertelt: ‘De eerste proeven zijn veelbelovend. We zijn erin geslaagd om de bewegingen van de operator te tracken. Zelfs als hij de binnenkant van een buis lakt, verliezen we hem niet uit het oog, dus bij occlusie of moeilijk te bereiken binnenholtes is het tracken nog steeds mogelijk.’ De tijdsduur van het programmeren van de robot is ook sterk gereduceerd. ‘In twee minuten hadden we een programma gemaakt wat normaal uren duurt. En de code kon meteen worden uitgevoerd op de robot.’

Mogelijkheden tot verbetering zien Mahy en Wellemans nog genoeg. ‘Het zit nu nog allemaal in de proof-of-concept-fase, verder onderzoek is nodig. En we moeten eraan werken om er een afgewerkt product van te maken dat klaar is voor de industrie’, aldus Mahy. Wellemans vult aan: ‘We doen nu louter mimicry. De robot bootst de menselijke bewegingen zo goed mogelijk na. Dat komt omdat we de nadruk hebben gelegd op de skills van de operator, en niet op de voordelen die een robot kan bieden. Een robot kan sneller en preciezer bewegen, een mens is beter uit de losse pols. We kunnen dit proces nog verder optimaliseren door de kwaliteiten van een robot beter te benutten. Die kan zijn polsgewricht over grotere hoekintervallen draaien; heel handig als je de binnenkant van een buis wilt lakken. Dat komt in de toekomst ongetwijfeld aan bod.’