Friese wervelwind op zoek naar gebrekkige windmolenbladen
Sinds eind vorig jaar is Jaap van de Loosdrecht lector van het kenniscentrum Computer Vision van de NHL Hogeschool in Leeuwarden. Aan Mechatronica&Machinebouw vertelt hij over de ontwikkeling van een intelligente, autonome drone die gedetailleerde opnames kan maken van bijvoorbeeld windturbinebladen.
Na een pioniersfase is het commercieel gebruik in civiele toepassingen van onbemande vliegtuigjes (unmanned aerial vehicles, uav’s) sterk in opmars. In 2011 kwam de afdeling Computer Vision van de NHL Hogeschool in Leeuwarden in contact met het Nationaal Lucht- en Ruimtevaartlaboratorium (NLR). Het gezamenlijke idee ontstond om een drone uit te rusten met slimme, geavanceerde visiontechnologie. Hierdoor zouden uav’s met een grote mate van autonomie beter en sneller hun taak kunnen uitvoeren. Bovendien kon informatie geautomatiseerd uit de beelden worden geëxtraheerd.
NHL en NLR vonden diverse bedrijven met een concrete marktvraag waarop zo’n slimme drone het antwoord was. ‘Denk aan toepassingen zoals de inspectie van windmolenbladen, de detectie en inspectie van vuurhaarden, de inspectie van landbouwgronden en het schouwen van sloten’, somt Jaap van de Loosdrecht op. Hij is initiatiefnemer en sinds vorig jaar lector van het NHL-kenniscentrum Computer Vision. ‘We wilden kijken of we dit soort technologie daarvoor kunnen inzetten.’ In september 2014 ging het Raak-project ‘Smart vision for UAVs’ van start.
De nood is hoog, bijvoorbeeld bij de inspectie van windmolenbladen. ‘Nu heb je gecertificeerde klimmers die zich aan een touw naar beneden laten zakken en met een handtoestel foto’s maken van de turbinebladen. Terug op de grond worden die beelden ingelezen in een computer en geanalyseerd’, vertelt Van de Loosdrecht. Samen met andere kennisinstituten en partners uit het bedrijfsleven had NHL de ambitie om beide stappen te automatiseren: zowel het nemen van de foto’s als het analyseren van het beeld. ‘Dat is nog een stip op de horizon’, geeft Van de Loosdrecht toe, ‘maar het is wel waar we naartoe willen.’
Brainstorm
De uitdagingen zijn groot. Het gaat immers om masten die wel honderd meter hoog zijn, met enorme bladen. Als je ervoor kiest om gebruik te maken van de autofocusalgoritmes van de camera, heb je als voordeel dat de afstand tussen de drone en het blad mag variëren. Helaas werken die algoritmes zeer slecht bij egaal witte vlakken. Veel foto’s zouden dus onscherp zijn. Het alternatief is om handmatig te focussen, maar dan moet de drone op een vaste afstand van het blad blijven, met alle vision- en controle-uitdagingen van dien.
Naast de wens om de visuele inspecties en het vliegproces te automatiseren, hadden Van de Loosdrecht en zijn collega-onderzoekers nog meer op hun verlanglijstje staan. ‘We wilden een eenvoudige integratie met bestaande uav’s’, vertelt hij. ‘Ook wilden we goedkope, uitwisselbare, upgradable standaardcomponenten gebruiken, geen hardwareontwikkeling doen en ook geen software schrijven voor vluchtcontrollers.’
Ingredients enabling carbon neutrality of warehouse systems
5 oktober 2023 vindt de INCOSE-NL workshop 2023 plaats, met spreker Daan Meijsen van Vanderlande. Tijdens de workshop krijg je inzicht in de verschillende cross-cutting duurzaamheidsperspectieven voor hightech systemen. Bekijk het volledige programma online en registreer nu!
Alles bij elkaar zorgde het wensenpakket voor heel wat hoofdbrekens. Van de Loosdrecht: ‘We kwamen tot de conclusie dat geen enkel bestaand uav-systeem – commercieel verkrijgbaar of nog in ontwikkeling – aan onze eisen voldeed en geschikt was om eenvoudig te koppelen aan computervision.’ Om een oplossing te vinden, hield hij brainstormsessies met het team van Computer Vision, collega’s van de opleiding elektrotechniek, het NLR en verschillende bedrijven. ‘De mogelijkheden die we vonden, vroegen echter allemaal een aanzienlijke investering in zowel elektronicaontwikkeling als softwareontwikkeling voor vluchtcontrollers, iets wat we dus niet wilden.’ Ondanks alle inspanningen dreigde het proces stil te vallen.
Wervelwind
Op een zaterdagochtend onder de douche had Van de Loosdrecht zijn eurekamoment. Geïnspireerd door alle input uit de discussies bedacht hij een architectuur voor geautomatiseerde uav’s op basis van uitwisselbare standaardcomponenten. Het vernieuwende aan het Twirre-concept (Fries voor wervelwind) is dat de hardware en software voor de vluchtcontroller niet voor elk model hoeven te worden aangepast. ‘Het basisidee is dat een aanvullend high-level regelsysteem de vluchtcontroller aanstuurt’, legt Van de Loosdrecht uit. ‘Dit regelsysteem vervangt in feite de stick-inputcommando’s van de grondpiloot. Deze oplossing lijkt verrassend eenvoudig maar breekt met andere systemen die zijn ontwikkeld voor slechts één specifieke uav met vluchtcontroller.’
De commando’s van het regelsysteem kunnen twee verschillende bronnen hebben. De aansturing kan komen via de gebruikelijke weg: een grondpiloot die met een console stuursignalen naar de drone zendt. Daarnaast kan een Twirre-drone ook autonoom worden geregeld met een on-board microcontroller die input krijgt van camera’s via een processorbord. De wet eist dat een grondpiloot in het geval van calamiteiten de besturing van autonome drones kan overnemen. Zo’n autonomy switch blijkt echter niet zo eenvoudig gevonden op de markt. ‘We konden er eerst niets voor vinden’, vertelt Van de Loosdrecht. ‘Ik heb een achtergrond in elektrotechniek, dus ik wist dat het niet heel moeilijk was om te bouwen. Ik was met een collega van elektrotechniek aan het brainstormen hoe we zoiets goedkoop en betrouwbaar konden oplossen toen er een oud-NHL-student binnenkwam. Hij is modelvlieger en kende een Taiwanees bedrijf dat zulke componenten voor twaalf dollar verkocht. Toen was de keus natuurlijk snel gemaakt.’
Belangrijke voordelen van de Twirre-architectuur zijn de modulariteit en het gebruik van uitwisselbare standaardcomponenten. De interfaces tussen de componenten zijn standaard pwm-servokabels en usb. NHL maakt nu gebruik van een DJI Phantom F550-drone, maar het systeem kan eenvoudig aan een ander type of een ander merk worden gehangen. Verder is er gekozen voor een Intel Core I7-processorbord dat de camerabeelden voor de navigatie direct verwerkt (de beelden voor de inspectie worden wel lokaal opgeslagen op een 1 TB harde schijf maar worden niet aan boord geanalyseerd). De software op het I7-bord vertaalt de beelden naar vier floatingpointgetallen die de gewenste stickposities op de zender representeren. Deze vier getallen worden via de usb-bus naar een microcontroller op een Arduino-bordje verstuurd waar ze worden omgezet naar pwm-signalen voor de vluchtcontroller.
‘Omdat de architectuur is gebaseerd op industriestandaarden zoals usb en servokabeltjes kun je makkelijk andere hardwarekeuzes maken’, benadrukt Van de Loosdrecht. ‘Is er meer processorkracht nodig, kun je opschalen. Heb je een lichter systeem nodig, dan steek je er een kleiner bordje in.’
Rode auto
Het Twirre-platform is inmiddels toe aan zijn tweede generatie. In de eerste versie zaten nog veel losse draden. In de tweede versie is daar een set-upbordje voor gemaakt. Verder is het 8 bit Arduino-bordje vervangen door een 32 bit-variant zodat de uav nog wat meer functionaliteit heeft. Ook de software heeft een flinke facelift gehad. ‘Omdat we ons voor versie 1 alleen erop hebben gefocust om de boel werkend te krijgen, was de software op een gegeven moment net spaghetti. Nu zijn het allemaal mooie bouwblokjes’, aldus Van de Loosdrecht. Via de zelfontwikkelde generieke sensorinterface Twirrelink is het nu bovendien eenvoudig om nieuwe sensoren zoals lidar, RTK GPS en ultrasoon toe te voegen aan het systeem.
NHL werkt hard aan een bibliotheek met herbruikbare missiebouwblokken. Een onderdeel van een missie is altijd de landing. De drone moet daarvoor de juiste stuurcommando’s krijgen. De bijbehorende regeltechniek is niet heel ingewikkeld omdat het op een lage frequentie gaat van ongeveer tien hertz. Andere blokjes zijn bijvoorbeeld opstijgen, stilhangen en zoeken, naderen en een lijn volgen. De bedoeling is om de hardwarebeschrijvingen en de systeemsoftwarebibliotheek van Twirre openbaar te maken.
Daarbovenop komen de applicatiespecifieke blokken. ‘De ene keer wil je op een witte H met een zwarte achtergrond landen, de volgende keer in een cirkel, dan weer op het dak van een rode auto. Per situatie moet je daarvoor een visionalgoritme ontwikkelen.’
Van de Loosdrecht hoopt nog dit jaar klaar te zijn om de drone buiten te testen. Zo ver is het echter nog niet. Versie 2 van Twirre heeft net met succes de eerste integratietests doorlopen. ‘Daarna is het tijd voor een experiment waarbij we een verkleind model van een windmolenblad ophangen, gewoon uit hout gezaagd en wit geschilderd. We zijn nu al software aan het schrijven die dat mogelijk moet maken. Kunnen we de drone autonoom naar het blad laten vliegen? En kan hij dan op constante afstand een nauwkeurige scan maken?’ Pas als dat lukt, durft Van de Loosdrecht de Twirre-uav in de buitenlucht te testen. ‘Stapje voor stapje naar de praktijk.’
