De vliegende hand
De huidige dronetechnologie beperkt zich tot het in de lucht brengen van sensoren. Die drones zijn handig om prachtige filmbeelden te schieten of voor inspecties op onbereikbare of gevaarlijke plaatsen. Drones die zijn uitgerust met snuffelsensoren helpen om schadelijke stoffen of geuren te detecteren. In essentie zijn zij onze ogen en neuzen in de lucht – teledetectie dus. De volgende stap is tele-interactie, oftewel handen in de lucht.
Het Raak-Pro-project Mars4Earth heeft de ambitieuze doelstelling om de eerste praktisch toepasbare, modulaire en autonoom vliegende hand te ontwikkelen. Mars4Earth staat voor ‘modular aerial robotic systems for sustainable living on Earth’. De partners uit de diverse domeinen van het consortium zijn: Groningen Seaports, Fieldlab Zephyros en Amperapark (energie), Drone4Agro (landbouw), Brandweer Twente en Dronexpert (veiligheid), Hogeschool Saxion, NHL-Stenden, Universiteit Twente, Wageningen UR, en de Fieldlabs TValley en Space53 (onderzoek). Saxion-lectoraat Mechatronica heeft als penvoerder van het project 1 miljoen euro subsidie ontvangen vanuit de Raak-Pro-regeling en het bedrijfsleven.
Het onderzoek richt zich op de vraag of het mogelijk is een prototype van een modulaire en autonome vliegende hand te ontwikkelen die fysiek kan interacteren met een realistische buitenomgeving, maar ook op de vraag welke mogelijkheden dat creëert. De combinatie van drone en robotarm biedt enorme voordelen voor onder meer veiligheid, efficiëntie en kosteneffectiviteit in verschillende toepassingsdomeinen. Binnen het Mars4Earth-project leggen we de nadruk op toepassingen in inspectie & onderhoud, safety & security en de landbouw.
Bij het opwekken van groene energie zetten we wereldwijd steeds meer windmolens en zonnepanelen in – vaak op hoge en moeilijk bereikbare plekken. Wie op grote hoogte of ver uit de kust en onder barre weersomstandigheden onderhoud aan deze installaties moet plegen, loopt risico. Er gebeuren dan ook regelmatig ongelukken. Een autonome vliegende hand kan in dat soort situaties zorgen voor veel meer veiligheid. Bovendien hoeft de installatie minder lang stilgelegd te worden. Dus de downtime neemt af en het rendement toe. Als gevolg kan zo ook meer schone energie uit deze installaties worden gehaald.
In de landbouw biedt de vliegende hand ook nieuwe mogelijkheden. In de strijd tegen gewassenbederf zijn de drones in staat betere inspecties te verrichten en heel lokaal in te grijpen. Bijvoorbeeld door het nemen van bodem- of gewasmonsters die in laboratoria nader kunnen worden onderzocht. Door de constante en betere monitoring kan de hoeveelheid gewasbeschermingsmiddelen worden beperkt. Dit draagt direct bij aan kostenreductie voor de producent, veiliger voedsel voor de consument en een schonere planeet.
Nog in de kinderschoenen
Tot nu toe hebben verschillende universiteiten zich gewaagd aan het ontwerp van een vliegende hand, inclusief de bijbehorende interactiecontroller, visiongebaseerde perceptie en benodigde operationele technologieën. Desalniettemin staat het onderzoeksveld nog in de kinderschoenen, zowel voor wat betreft de technologieën als hun daadwerkelijke praktische toepasbaarheid voor de industrie. Dit komt voornamelijk omdat de huidige oplossingen alleen zijn gedemonstreerd in laboratoriumomgevingen die vaak zijn uitgerust met externe positiesystemen voor lokalisatie, waar externe verstoringen nauwelijks een rol spelen, en waar alleen interacties zijn met een glad oppervlak en bekende locaties. Bovendien demonstreren die onderzoeksteams vaak enkel het proof-of-concept van een op zichzelf staande functionaliteit en niet een volledig geïntegreerd autonoom systeem met alle functionaliteiten.
In het Mars4Earth-project willen we een stap verder zetten. We zullen zowel de bestaande als nieuwe kennis en technieken ontwikkelen om dichter bij praktische toepasbaarheid te komen. Er is namelijk grote behoefte aan een autonome vliegende hand die kan worden gebruikt voor onderzoek naar fysieke interactietoepassingen in verschillende omgevingen en omstandigheden.
Vier modules
Onze modulaire vliegende hand bestaat uit vier fundamentele bouwstenen. Om te beginnen de missiespecifieke interactiemodules. Die moeten zijn uitgerust met een gestandaardiseerde interface die eenvoudig kan worden geïntegreerd in het droneplatform en kan worden gebruikt voor de drie toepassingsdomeinen: landbouw, inspectie & onderhoud en safety & security. De modules moeten de beoogde prestaties kunnen leveren in de buitenlucht met vele windfluctuaties of zelfs externe verstoringen effectief kunnen benutten.
Ten tweede is er de intelligente oppervlakteherkenning. Dat is met name nodig buiten de geconditioneerde labomstandigheden en heel dicht bij grote oppervlaktes. Voor betere taakprestaties en langere missies is het nog steeds nodig om algoritmes te ontwikkelen die optimale, energie-efficiënte verkenningspaden genereren.
Het derde bouwblok is een adaptieve interactiecontroller voor sproeien, schuren of schrobben in niet-verticale en ongecontroleerde en ongestructureerde omgevingen. En ten slotte zullen we werken aan geavanceerde perceptie- en beslissingsmodules. Denk aan slimme perceptie van de omgeving (voor zowel de vliegende hand als de lokalisatie van het doel in een buitenomgeving), missieplanning en intelligentie en autonomie om taken continu en autonoom uit te voeren.
Om de technologische kloof op dit gebied te dichten, legt dit project bijzondere nadruk op onderzoek naar het gebruik van een vliegende hand en de onderliggende technologieën in de buitenlucht. Zowel de bestaande als de nieuw ontwikkelde technologieën moeten als modulaire bouwstenen worden opgezet en afzonderlijk herbruikbaar zijn binnen de drie toepassingsdomeinen.
Windmolenbladen
Als onderdeel van de ambitieuze doelstelling van dit project heeft een groep van onderzoekers en studenten van het lectoraat Mechatronica en de Robotics & Vision-specialisatie van Saxion de eerste stap gezet in inspectie en onderhoud. Ze hebben een missiemodule met gestandaardiseerde interface ontwikkeld die is gebruikt voor een autonome inspectie van een windmolenwiek. Het inspectieproces bestaat uit de volgende fases: automatisch identificatie en lokalisatie van de windmolen, autonome navigatie naar de windmolen, de autonome en systematische scan, en het in kaart brengen van de defecten.
De ontwikkelde missiemodule bestaat uit een camera, ultrasone sensoren en een op maat gemaakt lichtgewicht gimbal-systeem waarop deze sensoren zijn gemonteerd. Bovendien heeft de module een on-board processor om de sensordata te verwerken. Op basis daarvan wordt de drone geïnstrueerd om de volgende actie uit te voeren.
De autonome inspectiedrone begint door de nabije omgeving te scannen op zoek naar een windturbine. Met behulp van computervisionalgoritmes worden de beelden van de on-board camera verwerkt om interessante kenmerken zoals randen, lijnen en vorm te identificeren. Als op basis van deze kenmerken een windmolen is geïdentificeerd, zal deze worden gelokaliseerd door gebruik te maken van de kennis over de kenmerken, camera-eigenschappen en de huidige poses van de drone en het gimbal-systeem.
Voor een systematische oppervlakteverkenning wordt het centrum van de turbine als uitgangspunt genomen. De drone navigeert systematisch en voert een visuele inspectie uit door de centrale contour van de bladen op een vaste afstand te volgen. We kiezen die afstand door rekening te houden met de gewenste kwaliteit van de visuele inspectie, het gezichtsveld van de camera, de bladbreedte en het bereik van de ultrasone sensor. Voor de robuustheid en vanwege de driedimensionale vorm van de bladen gebruiken we een reeks ultrasone sensoren om de afstand van de drone ten opzichte van de windbladen betrouwbaar te meten.
Finetunen
In de volgende fase zullen we focussen op de robuustheid van die autonome visuele inspectie en vervolgens op de fysieke interactie met behulp van een robotarm voor het bepalen van de structurele integriteit van de wieken. Belangrijke daaropvolgende stappen zijn de validatie en het finetunen van de technologie in een operationele omgeving om de geambieerde mijlpalen binnen dit project te bereiken. Bovendien zal de technologie binnen het Mars4Earth-project worden uitgebreid naar de domeinen landbouw en veiligheid & beveiliging.
