AI-integrator Demcon haalt waarde uit synthetische data

De ontwikkeling van almaar complexere hightech systemen drijft voor een belangrijk deel op steeds slimmere sensor- en regeltechniek. Die kan echter tegen z’n grenzen aanlopen, wanneer bijvoorbeeld relevante signalen verdrinken in de ruis, beelden te vaag zijn voor machinevision of functionaliteit niet haalbaar is met traditionele technieken. Dan brengt artificial intelligence uitkomst, of zoals Demcon het vakgebied definieert: data science & machine learning. AI fungeert dan als hulpdiscipline want mechatronische systeemengineering staat altijd centraal. Waar nodig integreert Demcon AI in het systeemdenken, met als uiteindelijke doel de uitbreiding van de functionaliteit of de verbetering van de performance of de efficiency van een systeem.

Plaatjes maken

Voor AI-toepassingen moet een algoritme – een bepaald neuraal netwerk – eerst worden getraind en vervolgens getest met bekende data. Bekend wil zeggen dat de data zijn geclassificeerd voor de relevante kenmerken (bijvoorbeeld goed of fout, kleine of grote afwijking, bepaalde eigenschap of feature wel of niet aanwezig, enzovoorts). Deze geannoteerde data zijn echter vaak onvoldoende beschikbaar omdat ze in de praktijk moeilijk zijn te verzamelen of omdat de betreffende events (denk aan storingen) maar zelden voorkomen.

De oplossing ligt in dat geval in synthetische data, die speciaal worden gegenereerd. Als het om beelden gaat, heeft Demcon daarvoor met illustratie- en animatiebureau Nymus3D een specialist in huis die niet alleen plaatjes maakt maar ook eigen tooling ontwikkelt voor productie van synthetische data voor machinevision. Waar het bij wetenschappelijke visualisatie of gameontwerp gaat om de begrijpelijkheid en geloofwaardigheid, gelden voor deze synthetische data andere kwaliteitseisen. Naast realisme is dat de variëteit die nodig is om de variatie in de werkelijkheid voldoende af te dekken.

Het streven is een hoog realiteitsgehalte, wat inhoudt dat een neuraal netwerk op dezelfde manier op nieuwe data reageert, ongeacht of het met synthetische of ‘echte’ data is getraind. Dan is de kloof tussen de synthetische en de echte wereld gedicht – ‘closing the domain gap’ heet dat. Dat houdt bijvoorbeeld in dat bij het genereren van synthetische camerabeelden de eigenschappen worden meegenomen van de optiek waarmee de echte beelden worden gemaakt; denk aan het type lens, het gezichtspunt of de ruiskarakteristiek van de sensor. Misschien zijn wel meerdere virtuele camera’s nodig, of moeten de instellingen expres wat slechter worden gezet, om tot een robuuster trainingsresultaat te komen.

Door de leiding navigeren

Een mooi voorbeeld van het genereren van synthetisch data voor AI-toepassingen is de autonome inspectierobot van Submerge, een startup waarin drie drinkwaterbedrijven samenwerken. Met deze eerste volledig autonome en draadloze robot kunnen beheer en onderhoud van drinkwaternetwerken veel slimmer en efficiënter worden uitgevoerd. Dat voorkomt drinkwaterverspilling door vervuiling en lekkage.

Demcon ontwikkelde en bouwde een prototype. Het is een gelede robot, een ruim twee meter lange slang met afzonderlijk aangedreven wielen en scharnierend verbonden modules. In de kop en staart zit een camerasensor en daarnaast bevat de robot sensoren voor bijvoorbeeld leidingdikte en lekkage (via audio). In een ondergrondse leiding heeft de robot geen bereik voor communicatie en gps-signaal. Hij moet dus autonoom kunnen navigeren, met hulp van camerabeelden. Daaruit valt informatie over obstakels, vervuiling, afslagen en verder verloop van de leiding te destilleren. Voor interpretatie van de beelden bleek standaard vision niet toereikend – reden voor de inzet van AI.

Het ontbrak echter aan voldoende beelden van het inwendige van waterleidingen voor algoritmetraining. In cad (Solidworks) is daarom een 3D-model van een representatief leidingnetwerk gebouwd. In dat model is een virtuele camera geplaatst om op een groot aantal posities realistische renders van camerabeelden te maken. Aan elk beeld is een interpretatie gekoppeld, bijvoorbeeld een segmentatie met een afslag of een obstakel, een leidingverloop of een leidingdiameter. Maar liefst 140 duizend geannoteerde renders zijn gebruikt voor het trainen en testen van een grote set neurale netwerken in een genetisch algoritme.

Hier was sprake van algoritme-evolutie, waarbij de nauwkeurigste en snelste netwerken door het algoritme werden gecombineerd en evolueerden tot een optimaal netwerk, gegeven bepaalde randvoorwaarden. Een belangrijke randvoorwaarde voor deze robot was de beperkte rekenkracht van de low-power embedded computer, die naast vision ook verantwoordelijk is voor communicatie, besturing en safety.

Belangrijk is bijvoorbeeld dat de robot op tijd een afslag waarneemt, om bij het nemen van krappe bochten goed te kunnen insturen. Bij eerste tests in een oefennetwerk bij Demcon in Enschede slaagde de robot er meteen in afslagen goed te herkennen. T-splitsingen leverden soms een probleem op omdat het onderscheid tussen doorgaande route en afslag moeilijk bleek. Training met extra synthetische beelden loste dit probleem op. Onderzoeksinstituut KWR in Nieuwegein beschikt over een grote proeftuin; daar kan Demcon, na afronding van de mechatronische systeemontwikkeling, de robot verder testen.

Beademing synchroniseren

Data zoals meetsignalen (tijdreeksen) kunnen ook synthetisch worden gegenereerd, bijvoorbeeld voor AI-gedreven optimalisatie van de beademing van ic-patiënten. Demcon Macawi Respiratory Systems ontwikkelt al jaren beademingstechnologie voor inzet bij iedere patiënt, van premature baby’s tot volwassenen. In samenwerking met de TU Eindhoven werkt Macawi aan de toepassing van AI.

Een grote uitdaging ligt in de beademing van patiënten die zelf nog een zwakke ademhaling hebben. De bedoeling is dat patiënt en beademingsapparaat (ventilator) synchroon lopen. Er kunnen echter diverse vormen van asynchronie optreden, doordat de beademing te vroeg of juist te laat is met het aanbieden van lucht voor inademing of het ondersteunen van de uitademing.

In promotieonderzoek naar patiënt-ventilator-asynchronie (PVA) zijn in Matlab simulaties uitgevoerd met een samengesteld long-patiënt-ventilatormodel. Dat heeft een groot aantal tijdreeksen opgeleverd voor druk en flow tijdens beademing, met daarin alle mogelijke vormen van asynchronie verwerkt. Eén beademingscyclus duurt twee tot vier seconden en telt bij een samplefrequentie van 50 Hz dus honderd tot tweehonderd datapunten. Deze tijdreeksen zijn gebruikt voor het trainen van een LSTM-netwerk (long short-term memory). Een dergelijk recurrent neuraal netwerk is geschikt voor realtime interpretatie van tijdreeksen. Bijzonder is bijvoorbeeld dat dit algoritme zelf afzonderlijke ademhalingscycli kan onderscheiden; databewerking vooraf is niet nodig.

Naar de kliniek

Vervolgens is voor het algoritme een drietraps-testprocedure opgezet. Eerst is bij de interpretatie van synthetische testdata een betrouwbaarheid van 90 procent gehaald. Bij een vervolgtest in het lab, op een patiëntsimulator aan een ventilator, kwam de betrouwbaarheid uit op 75 procent, zonder dat het algoritme eerst op dit fysieke model had bijgetraind.

De laatste teststap voert naar de kliniek met echte patiënten. In vervolgonderzoek samen met het Erasmus MC zullen artsen metingen aan patiënten classificeren op asynchronie. Door training met deze data krijgt het algoritme een nog hoger realiteitsgehalte. Dankzij de eerdere training met synthetische en experimentele data vergt finale training een beperkte dataverzameling – en dus beperkte belasting van patiënten en medici.

Daarna kan het AI-algoritme naar de klinische praktijk, in eerste instantie om artsen en verpleegkundigen input te geven voor het bewaken en zo nodig aanpassen van de beademing van hun patiënten. Op termijn moet autonome, closed-loop beademing, zonder personele interventie, mogelijk zijn – als de medische wereld hieraan toe is. Dit kan de werkdruk op ic’s fors verlagen.

Vincent Bos is businessmanager van Demcon Synthetic Data. Geert Folkertsma is manager engineering bij Demcon Safety & Security Systems. Dirk-Jan Kroon is senior vision engineer bij Demcon Focal. Joey Reinders is mechatronic system engineer bij Demcon Advanced Mechatronics en David Rijlaarsdam is businessunitmanager artificial intelligence bij Demcon Advanced Mechatronics.