Onderzoek aan vliegtuigen en bruggen versneld met deep learning
Alten hielp een opdrachtgever om defecten in composietwanden te analyseren. De ingenieurs gebruikten geavanceerde deep learning-technieken om een hoge detectiescore te halen.
Er is een groot aantal technieken om de eigenschappen van een materiaal te onderzoeken zonder schade te veroorzaken. Alten heeft onderzoekers uitgeleend aan een toonaangevende opdrachtgever om mee te werken aan zeer effectieve tools voor kwaliteitscontrole en onderzoeksdoeleinden. Hiermee kan de wand van een object worden gescand met meetapparatuur waarmee data wordt verzameld. Het doel van dit materiaalonderzoek is om delaminaties van composieten te detecteren. Een delaminatie kan ontstaan door een slechte hechting tussen de verschillende composietlagen.
Om vliegtuigen en bruggen op gestructureerde wijze te kunnen onderzoeken, is een robot ontwikkeld die de wand in een korte tijd scant. Het eindresultaat van zo’n meting is een afbeelding van de binnen- en buitenkant van de wand. Aangezien het een tijdrovende en complexe taak is om deze afbeeldingen correct te interpreteren, is er de noodzaak om dit proces te automatiseren en te versnellen. Met behulp van deep learning hebben we een aantal grote stappen voorwaarts gezet om specifieke kenmerken door computers te laten herkennen.
De signaal-ruisverhouding van de metingen is over het algemeen matig, wat een automatische interpretatie van de beelden bemoeilijkt. Hierdoor is het lastig en vaak zelfs niet mogelijk om de beelden te analyseren met behulp van traditionele beeldanalysetechnieken zoals een Censure-featuredetector, of morfologische operaties in combinatie met machine learning-algoritmes zoals beslissingsbomen. Er is dus een grote vraag naar robuuste en betrouwbare methodes om de interpretatie en analyse te verbeteren.
Uit balans
De data van meerdere projecten die al zijn uitgevoerd, zijn samengevoegd tot een dataset om meerdere machine learning-modellen te trainen. Een deep learning-model gebaseerd op de Mobilenet-architectuur kijkt gelijktijdig naar de afbeeldingen van de binnen- en buitenkant van de wand om de locatie van de defecten te bepalen. Doordat het model is getraind met grote hoeveelheden trainingsdata, kan het systeem zeer nauwkeurig bepalen op welke locatie een defect aanwezig is.
Het machine learning-model is getraind op data afkomstig van veertig verschillende onderzoeken. Aan de hand van al deze datasets zijn 215.040 afbeeldingen gegenereerd, waarvan 6410 afbeeldingen een of meerdere defecten bevatten. Zoals verwacht, is de dataset niet goed gebalanceerd, oftewel: er zijn relatief weinig voorbeelden van defecten.
Omdat de dataset ongebalanceerd is, hebben we technieken gebruikt om het aantal voorbeelden van defecten te vergroten door de afbeeldingen horizontaal en verticaal om te draaien. Ook is er artificieel ruis toegevoegd aan de afbeeldingen, met als doel dat het netwerk goede predicties geeft wanneer het afbeeldingen ziet die niet aanwezig zijn in de trainingsset.
Verder is het trainingsalgoritme zodanig aangepast dat moeilijke afbeeldingen vaker worden gebruikt dan eenvoudige. Deze zogeheten hard mining-procedure zorgt ervoor dat het model ook nauwkeurige predicties geeft voor afbeeldingen waarin bijvoorbeeld zeer veel ruis aanwezig is, of waarin metingen missen.
De nauwkeurigheid van het model is bepaald door de precision en recall te berekenen aan de hand van een aparte testset die niet is gebruikt tijdens de training. Precision geeft aan welk percentage van de gevonden defecten daadwerkelijk een defect is. Recall geeft het percentage van werkelijke defecten die als zodanig zijn aangemerkt en geclassificeerd. Voor deze dataset hebben we voor zowel de precision als recall een zeer hoge waarde behaald.
Euler-hoek
Doordat de predicties van het netwerk dermate nauwkeurig zijn, zijn er vervolgens ook modellen getraind om aan de hand van sensordata automatisch de locaties en richting van de meetapparatuur te detecteren. Hiervoor hebben we een nieuwe architectuur van een deep learning-model ontworpen die gebruikmaakt van speciale convolutionele lagen. Deze lagen van het neurale netwerk zijn vergelijkbaar met de veelgebruikte convolutionele lagen, met de uitzondering dat de gewichten niet worden gedeeld. Oftewel: er wordt een verschillende set filters toegepast per kanaal van de inputsensordata.
De verdraaiing van de onderzoeksrobot wordt gemeten met behulp van meerdere sensoren die de richting bepalen. De oriëntatie van de meetapparatuur wordt weergegeven met euler-hoeken. Dit geeft de verdraaiing van het meetsysteem weer met roll, pitch en yaw in een driedimensionale ruimte ten opzichte van een referentieframe.
In tegenstelling tot convolutionele lagen, die vaak worden gebruikt voor kleurafbeeldingen, hanteren wij aangepaste convolutionele lagen waarvan de filters per euler-hoek niet worden gedeeld. Hierdoor kunnen de filters zich specialiseren op verdraaiingen in de verschillende vlakken in een driedimensionale ruimte. Het resultaat van dit ontwerp is dat het netwerk mooie predicties geeft op de validatieset.
Netwerken combineren
De volgende stap is om een machine learning-model te ontwikkelen dat in staat is automatisch zowel de locatie als de lengte en breedte van defecten te voorspellen met hoge nauwkeurigheid. De moeilijkheid hierin is dat defecten zeer weinig voorkomen. Hierdoor is het aantal voorbeelden zeer beperkt ten opzichte van voorbeelden waarin geen beschadigingen te zien zijn.
De door ons gevolgde klantstrategie is dus om een bibliotheek van machine learning-modellen op te bouwen, waarvan elk model is gespecialiseerd in het detecteren van een bepaald kenmerk of bepaalde eigenschap. De besproken modellen zijn daar enkele van. Uiteindelijk kan dan een model worden getraind die de verschillende netwerken combineert om defecten goed te lokaliseren en vroegtijdig op te sporen.
