Dáárom ben je in de war over bin picking

Vergeef me voor de clickbait in de titel, maar ik moest echt even je aandacht trekken. Er is de laatste tijd een aantal artikelen over robotica verschenen die mij nogal deden fronsen – en dat is een understatement. Ze beweren dat robotvision eindelijk is opgelost, dat robots alles kunnen picken en zelfs dat we van insecten kunnen leren dat robots helemaal geen 3d-vision nodig hebben. Uiteraard ben ik het hier absoluut niet mee eens. Ik wil dan ook erg graag uitleggen waar robotvision vandaag de dag staat, op welke betrouwbaarheid je mag rekenen en of 3d-vision dan misschien toch overrated is.

Er zijn drie voorname applicaties die een combinatie van robots en camera’s gebruiken. Bij visiongebaseerde kwaliteitscontrole scant een camera een zone en wordt de 2d-foto of 3d-scan vergeleken met een referentiebeeld. Heel rechttoe rechtaan. Dat geldt veel minder voor de twee nieuwe applicaties die de markt beroeren: order picking (bestellingen van bijvoorbeeld een online shop verzamelen) en machinebelading (onderdelen aan een machine voeren). Beide applicaties hebben een gigantisch potentieel voor automatisering met een combinatie van pick-and-placerobots en een visionsysteem.

Vergis je niet: order picking en machinebelading zijn twee totaal verschillende applicaties. Bij order picking maakt de oriëntatie of positie van het onderdeel bij het afleggen over het algemeen niets uit: je pickt uit een bak en dropt het in een andere bak of doos. Bij machinebelading zijn oriëntatie en positie van het onderdeel echter alles. De kwaliteit van de applicatie hangt niet enkel af van de cyclustijd, maar ook van de juistheid van de positie en oriëntatie van de onderdelen die de robot plaatst. Goed, nu dat duidelijk is, kunnen we die recente publicaties eens bekijken en de beweringen onder de loep nemen.

‘Bin picking is opgelost’

Dit is de oudste en meest schadelijke bewering die wordt gebruikt om klanten te lokken naar bin picking-oplossingen. Zo zagen we een blogpost van Universal Robots voorzichtige conclusies trekken, maar andere websites ongegeneerd de overwinning claimen. De instroom van nieuwe artificial intelligence- en deep learning-oplossingen zorgt voor heel veel optimisme, maar zal ook zeer vaak tot teleurstelling leiden. Bij Pickit evalueren we honderden klantencases per maand. In heel veel gevallen is het niet eenvoudig een grijper te bedenken die in staat is om de onderdelen te picken en te presenteren zoals gewenst. Of je stuk heeft een subtiele asymmetrie die voor je proces belangrijk is, maar voor een camera slechts 2,5 procent aan pixels verschilt van de andere zijde van hetzelfde stuk. Erg lastig voor visionsystemen.

Er zijn drie stappen om tot een volwaardige oplossing te komen. Detecteer de positie en oriëntatie van een onderdeel met hoge betrouwbaarheid. Selecteer vervolgens de onderdelen die je robot kan bereiken en die je grijper kan grijpen. Voer ten slotte de beweging uit van pick-up tot drop-off, binnen de gewenste tijd.

Bij Pickit implementeren we honderden cases per jaar door te focussen op deze drie stappen, met de nieuwste software en algoritmes. Vandaag en in de toekomst zal elk van de stappen soms onoplosbaar lijken. Alleen een geïntegreerde oplossing van toeleveranciers van robots, grijpers en camera’s zal leiden tot ‘de oplossing’. Het spijt me, maar software en kunstmatige intelligentie zijn maar een derde van de oplossing.

‘Je hebt helemaal geen camera nodig’

Dan zijn er de creatieve pogingen om het probleem op te lossen met de foute hardware en een slim trucje. Ik zag laatst een video waar een krachtsensor werd gebruikt om voorzichtig in een bak met onderdelen te crashen en iets te grijpen met een magneet, om dit dan op een witte plaat af te leggen en het onderdeel en zijn positie te detecteren met een 2d-camera. Het idee is dan dat een krachtsensor en een 2d-camera samen goedkoper zijn dan een 3d-camera … Maar dat is toch totaal bezijden het punt?

De markt vraagt er niet om op goed geluk een onderdeel te picken en het dan te bekijken. Dat vertraagt de cyclustijd en vergroot de foutmarge. En zeg nu zelf, waarom zou je willen dat je robot willekeurig in je bak crasht?

‘Robots kunnen zonder 3d-vision’

Een online-onderzoeker nam om deze vraag te beantwoorden insectenogen onder de loep, een vrij complex proces uit de natuur. Hij kwam tot de conclusie dat insecten prooien kunnen vangen zonder stereovisie. Als je dit vertaalt naar een industriële pick-and-placerobot, zou dat willen zeggen dat 3d-vision ook niet nodig is. Over clickbait gesproken!

In plaats van ook te vertrekken van een foute aanname leg ik liever uit waarom (pick-and-place)robots juist wél 3d-vision nodig hebben. Om te beginnen, is de realiteit dat alle bin picking-robots 3d-camera’s gebruiken. We zien de waarde wel van het toevoegen van 2d-beelden om de betrouwbaarheid te verbeteren met deep learning-algoritmes, maar niet als vervanging van 3d-data.

3d-camera’s zijn beter bestand tegen veranderende lichtomstandigheden, Ze hebben zelf een lichtbron (infrarood of zichtbaar licht) en hebben daarom weinig nood aan lichtconditionering. Direct zonlicht op de onderdelen is altijd te vermijden, en ik heb set-ups gezien waar licht een rol speelt bij de limieten van de camera.

Het palet aan onderdelen en pickingsituaties is vrijwel ongelimiteerd bij 3d-vision. Mensen denken gauw aan dozen of zakken, maar elk systeem waar onderdelen gestapeld of door elkaar liggen werkt voor een 3d-camera. Hij is dus flexibel inzetbaar in je bestaande productieproces.

Een 3d-camera kan iets wat weinigen beseffen: het kan de achtergrond van een scène uitfilteren, om zo een onderdeel aan te leren door het één keer aan de camera te tonen. 3d-camera’s kunnen bovendien ook een bestaand cad-model gebruiken om een onderdeel te leren.

De laatste, maar niet de minste in deze lijst: het is zelfs de topprioriteit van elke procesautomatiseerder en operator die ik ooit ontmoette. 3d verhoogt de betrouwbaarheid van visiongebaseerde robotica enorm.

Zo heb je dus geen insecten nodig om een case te maken voor 3d-visie, noch moet je 2d-visie gaan afkraken. De case voor 3d-visie maakt praktisch zichzelf.