Inther plukt vruchten van slimme vision Fizyr

Al voor de coronacrisis had de e-commerce de wind in de zeilen. Alle lockdowns hebben die trend alleen nog maar versterkt. Orderpickers kunnen het niet meer af zonder hulp van robots. De grote variatie aan producten maakt dat allerminst evident. Inther uit Venray en Fizyr uit Delft sleutelen samen aan een flexibele oplossing op basis van vision en AI.

Alexander Pil

Inther Group ontwikkelt en bouwt zogenaamde automated storage and retrieval-systemen (as/rs). Dat zijn geautomatiseerde logistieke oplossingen die spullen in een magazijn opslaan en terughalen op het moment dat een order dat product nodig heeft. Een operator pakt een item uit de aangeboden bak en legt hem bij de rest van de bestelling in een andere bak. Onder meer Blokker en Hema gebruiken zulke systemen van Inther.

Zulke goods-to-person-systemen werken prima, maar met de verdergaande robotisering ligt het voor de hand dat robots op z’n minst een deel van het pak- en plaatswerk overnemen. Inther constateerde dat vroegtijdig en startte als een van de eersten in de logistiekmarkt met de ontwikkeling van een eigen goods-to-robot-oplossing.

‘Een van de grote uitdagingen waar Inther tegenaan liep, was dat het computervision nodig had die in staat was om onbekende objecten te herkennen’, vertelt Herbert ten Have, directeur van Fizyr uit Delft. ‘Ze wilden niet werken op basis van cad-modellen om heuristisch de producten te vinden. De vision moest de oppaklocatie van objecten kunnen bepalen die altijd anders zijn.’ Zo’n 3,5 jaar geleden klopte Inther daarvoor aan bij de Zuid-Hollandse AI- en visionspecialist.

Goede oog-handcoördinatie

Fizyr levert vision en software waarmee robots in de logistiek allerlei soorten onbekende objecten kunnen classificeren en oppakken. ‘Het is een soort Google Maps voor pickingrobots’, aldus Ten Have. ‘We hebben het zo eenvoudig mogelijk gemaakt. In essentie is het: kies een robot, camera en gripper, koppel en configureer ze en de basis staat. Het is heel generiek en plug-and-play, steeds met dezelfde configureerbare, hardwareonafhankelijke software.’

Inther en Fizyr hebben in een partnerschap aan de oplossing gewerkt. ‘Dat gaat in iteraties. Eerst hebben we onze software via api’s gekoppeld aan de systemen van Inther zodat ze met elkaar konden praten’, vertelt Ten Have. ‘Om nauwkeurig te kunnen pakken, heb je een goede oog-handcoördinatie nodig. Je moet dus de grijper kalibreren ten opzichte van de camera.’

Ten Have roemt Inther om het feit dat het bedrijf uit Venray zo veel gegevens vastlegt. ‘Die systemen zijn datageneratiemonsters. Via een touchscreen kun je alles inzien en terugkijken. We hebben het systeem maandenlang in hun innovatiecentrum laten draaien. Testen, testen, data verzamelen, reviewen. Daar hebben we ontzetten veel van geleerd. En het geeft bovendien vertrouwen dat de oplossing werkt.’ Het is echt een samenwerking geweest, benadrukt Ten Have. ‘Soms ligt de oplossing van een probleem bij de vision, soms bij de integratie, soms bij de gripper. Je moet elkaar helpen om tot de beste oplossing te komen.’

Samen bouwden Inther en Fizyr de features uit. Zo moet het picksysteem overweg kunnen met de dividers in sommige opslagbakken. Die afscheidingsschotten zitten er om chaos te voorkomen, maar een robotgrijper mag er niet tegenaan botsen. De software moet zo slim zijn dat hij een voorstel kan doen voor de beste locatie en hoek om een product te pakken, waarbij hij de dividers omzeilt en sowieso alle botsingen voorkomt.

Netjes stapelen

‘Onze software ondersteunt systemen die tweeduizend picks per uur halen’, aldus Ten Have. De pickactie is echter niet de beperkende factor in het proces. ‘We kunnen nog meer tempo maken maar je kunt met de robot niet oneindig snel versnellen en vertragen; dan valt het product van de zuignappen af.’ Die transfer naar de orderbak is overigens het domein van Inther omdat er geen beelden bij komen kijken. Het is een kwestie van het juiste bewegingsprofiel kiezen.

Het plaatsen van een object in een orderbak is een compleet andere tak van sport. Tot grofweg twee jaar geleden was het gebruikelijk om de producten op de goede plek te laten vallen. Voor pakketten en poststukken, waarvoor Fizyr ook oplossingen levert, is dat voldoende. Als de bestelling bestaat uit een verzameling boodschappen, willen online supermarkten de dichtheid zo hoog mogelijk hebben, en alles netjes gestapeld. Dat scheelt immers een hoop ruimte en geld.

Het afgelopen jaar heeft Fizyr daarvoor een oplossing uitgerold. ‘Ons systeem kijkt naar het product dat de robot vastheeft, waar er plek is en zet hem dan daar. Ons algoritme speelt 3D tetris’, legt Ten Have uit. De robot kan een menselijke orderpicker nog niet evenaren. ‘Een mens heeft twee handen waarmee hij tegelijk iets op zij kan duwen en iets kan neerleggen. En hij kan voelen hoeveel kracht hij op een product kan zetten. Voor een robot is dat veel moeilijker, maar die kan zijn werk wel 24/7 uitvoeren. Dat geeft hem sowieso een groot voordeel.’

Supervised learning

De kern van Fizyrs vak is het trainen van het achterliggende neurale netwerk. ‘We doen dat via supervised learning’, zegt Ten Have. De afgelopen jaren heeft het bedrijf een paar miljoen afbeeldingen zeer precies gelabeld. ‘Heel bewust hebben we dat in eigen beheer gehouden, in onze eigen labelomgeving en met onze eigen mensen. Nu weten we zeker dat de kwaliteit goed is en we volledige controle over het algoritme hebben.’

Concullega’s van Fizyr kiezen vaak voor reinforcement learning, weet Ten Have, maar hij is geen fan van die aanpak. ‘Je laat het systeem wat pakken. Dat gaat goed of fout en daar leert het algoritme van. Het nadeel is dat er ongelooflijk veel variabelen zijn die een rol spelen. Het kan aan de zuignap liggen, het product is misschien kapot of de vacuüm was even weggevallen. Voor je het weet, leert het beslissoftware de verkeerde dingen.’

Omdat Fizyr alles in eigen huis doet, kan het nu dingen die anderen niet kunnen, stelt Ten Have. Een typische uitdaging in logistieke computervision is dat het algoritme moet zien waar het ene product eindigt en waar het volgende begint. Als dat onderscheid niet goed kan worden gemaakt, bestaat de kans dat de grijper twee objecten tegelijk oppakt. ‘Onze concurrenten in parcelverwerking kampen soms met wel 5 procent double picks. Die pakketjes komen op het verkeerde adres terecht. Dat is natuurlijk een groot probleem, een echt no-go.’

Fizyr slaagt er wel in om de verschillende objecten van elkaar te onderscheiden. Sterker nog, als ze over elkaar heen liggen, geeft de software aan in welke volgorde de gripper ze moet oppakken. ‘Klanten kunnen vaak niet geloven dat dat standaard uit ons systeem komt’, zegt Ten Have. Het is de Delftse engineers gelukt doordat ze het algoritme heel veel moeilijke gevallen hebben aangeboden. ‘Juist door die goed en nauwkeurig te labelen, kunnen we die segmentatie doen en steeds de allerbeste picklocatie vinden.’

Overigens is het niet alleen door supervised learning dat Fizyr ziet welke volgorde optimaal is. ‘We meten ook gewoon langs de z-as. Waar die afstand het kleinst is, ligt zeer waarschijnlijk het bovenste product’, aldus Ten Have.

Sweet spot

Hoewel Inther al veel systemen in het veld heeft staan, blijven de ontwikkelingen met Fizyr doorgaan. Een van de aandachtspunten is dat een robot niet alles kan oppakken. ‘In e-fulfilment kun je 85 tot 90 procent verwerken met vacuümgrippers’, weet Ten Have. Voor een deel kan dat worden opgelost door te werken met een gecombineerde goods-to-person/goods-to-robotsysteem. ‘Een mens kan dan bijvoorbeeld de halter van tien kilo verwerken of allerlei vreemde deformables. Voor de robot mik je op de sweet spot van producten die vaak voorbijkomen en die hij goed kan pakken.’

‘Online supermarkten hanteren drie temperatuurzones: normaal, gekoeld en diepvries’, gaat Ten Have verder. ‘De eerste zone past prima bij een robot. Gekoeld is lastiger omdat je snel te maken hebt met condens. Diepvries is helemaal uitdagend, ook omdat je die producten wellicht pas als laatste aan de order wilt toevoegen.’

Het antwoord op dat soort vraagstukken ligt in de praktijk, bij de integrators. Ook de toepassing van geavanceerdere en flexibelere grijpers is vooral een taak van de systeembouwer. Maar Fizyr werkt met Inther en andere klanten samen om de pick-and-placerobots steeds intelligenter en veelzijdiger te maken.