Autonome robots ondersteunen hulpverleners bij ramp

Afgelopen zomer presenteerden TNO en zijn partners op Schiphol de tussentijdse resultaten van het Nifti-project, een door de Europese Commissie gesubsidieerd R&D-programma dat slimme robots ontwikkelt voor hulpverleners. De locatie van de demo was het terrein van het Brandweer Opleidingscentrum Amsterdam-Amstelland Schiphol. Het scenario: een trein met gevaarlijke chemicaliën is gebotst op een bus en bij het ongeval is ook een auto betrokken. De chemicaliën zijn dermate gevaarlijk dat de brandweermannen niet de eerste verkenning kunnen doen. De Nifti-robot brengt uitkomst: hij verricht metingen van de gevaarlijke stoffen en zoekt naar overlevenden. De robot rijdt als eerste naar de auto en ziet met zijn camera op de achterbank een huilende baby. Zijn menselijke teamgenoten kunnen op basis van al die informatie besluiten welke acties er moesten worden genomen.

Robots krijgen steeds grotere autonomie in deeltaken zoals navigatie en objectherkenning. Meer en meer zullen ze een onderdeel zijn van een team van mensen en andere robots. Het is dan van groot belang dat er goede afspraken zijn over hoe de robot met de mens samenwerkt en informatie deelt. Hiervoor kunnen de robots bepaalde regels (policy’s) gebruiken.

In een team gebruiken mensen zelf ook zulke regels om de werklast te verdelen. Als twee mensen bijvoorbeeld samen een taak uitvoeren en een van beiden heeft het te druk en de ander ziet dat, dan kan die een deel van zijn taak overnemen en zo ondersteuning bieden. Het re-alloceren van taken zorgt ervoor dat de teamprestatie verbetert. Dat werkt niet alleen voor teams van mensen, ook voor mens-robotteams verwachten we dat dit een positief effect heeft. Ook de omgeving heeft invloed op de taakverdeling: de omgeving na een aardbeving bijvoorbeeld is dynamisch en de mensen en robots in die omgeving zullen ook dynamisch met hun taken moeten omgaan.

Om het re-alloceren van taken tussen mens en robot te onderzoeken, heeft TNO binnen het Nifti-project gekeken naar het team van de robot en zijn operator. De operator heeft niet als enige taak de robot te besturen, maar moet ook letten op de omgeving en het opbouwen van een beeld van de omgeving. Daarbij let de operator bijvoorbeeld op mogelijke slachtoffers tussen het puin en of er gevaarlijke stoffen aanwezig zijn.

Belangrijk hierin is de cognitieve taaklast die beschrijft hoe complex een taak van de operator is, hoe vaak de operator van taak moet switchen en wat de tijdsdruk is. Die last heeft invloed op de teamprestatie. Aan de hand van hoeveel de operator zelf moet doen, kan de robot zorgen dat de taaklast van de operator optimaal blijft. We moeten er wel voor waken dat de robot niet zo veel van de taak overneemt dat de operator out of the loop is en geen idee meer heeft wat er gebeurt. Een gevolg zou kunnen zijn dat de operator zich niet meer bewust is van waar de robot is. Dit kan een probleem zijn als de robot plots assistentie nodig heeft.

 advertorial 

Ingredients enabling carbon neutrality of warehouse systems

5 oktober 2023 vindt de INCOSE-NL workshop 2023 plaats, met spreker Daan Meijsen van Vanderlande. Tijdens de workshop krijg je inzicht in de verschillende cross-cutting duurzaamheidsperspectieven voor hightech systemen. Bekijk het volledige programma online en registreer nu!

Dit concept hebben we getest met een taakallocatiesysteem waarin we contextinformatie gebruiken om de optimale taakverdeling te vinden voor een team. Die informatie bestaat uit individuele factoren (zoals persoonlijkheid en vaardigheden), omgevingsfactoren (zoals weersomstandigheden en geluid) en taakfactoren (zoals locatie en benodigde vaardigheden). Op basis van context en cognitieve taaklast wordt, gedurende de reddingsactie, een voorstel gedaan voor een optimale taakverdeling van operator en robot. Als de operator bijvoorbeeld druk is met de zoektocht naar slachtoffers in een gebied, kan de robot voorstellen om autonoom te rijden en om obstakels heen te rijden zodat de operator dat niet hoeft te doen.

Uit evaluatie blijkt dat het taakallocatiesysteem de taaklast van de mens weet in te schatten, maar dat meer contextinformatie moet worden meegenomen om een goede suggestie te kunnen doen voor het herverdelen van taken. Die extra gegevens zouden bijvoorbeeld eigenschappen en voorkeuren van de mens kunnen zijn.

Smart question

Afspreken wie waar mag komen in een rampgebied, gebeurt momenteel ook al zonder robots. Er is dan vaak sprake van verschillende zones: hot, warm en cold. De hot zone is de plek waar de ramp is gebeurd, de warm zone is de plek waar reddingswerkers zich voorbereiden om de hot zone in te gaan en de cold zone is de plek waar de commandopost staat. Omdat de mens en de robot zo verschillend zijn, zullen er gebieden zijn waar de robot wel kan komen en de mens niet, bijvoorbeeld daar waar mogelijk radioactieve stoffen aanwezig zijn (denk aan Fukushima). Er zullen ook gebieden zijn waar de mens wel mag komen en de robot niet, omdat de robot bijvoorbeeld schade kan veroorzaken of mogelijke slachtoffers kan verwonden. Natuurlijk kunnen er ook gebieden zijn waar zowel mens als robot niet mogen komen.

Om tijdens een reddingsoperatie een beeld bij te houden wordt gebruikgemaakt van een teaminformatiedisplay waar zowel mens als robot informatie kan delen. Iedereen in het team heeft toegang tot dat scherm. Het teaminformatiedisplay kan draaien op verschillende platforms. Iemand in het veld kan rondlopen met een tablet of smartphone, de missiecommandant kan een surface table gebruiken in de commandopost en de andere reddingswerkers in de commandopost kunnen gebruikmaken van een laptop. Naast het delen van een gezamenlijk beeld ondersteunt het teaminformatiedisplay ook op een slimme manier wat er nog moet worden uitgezocht. Als de robot een slachtoffer vindt en deze, na goedkeuring van zijn operator, plaatst op het display, is het goed mogelijk dat de staat van het slachtoffer niet bekend is. Hoe erg is hij gewond? Heeft hij direct hulp nodig? Hiervoor verstuurt het teaminformatiedisplay een vraag (smart question) naar een hulpverlener die in de buurt is (door middel van een geluidsnotificatie op zijn tablet of smartphone) en die deze vragen wel kan beantwoorden. Het verstuurt dus het juiste bericht, op het juiste moment en in de gewenste modaliteit (geluid, trilling, beeld).

Mirandola

Een bekend praktijkvoorbeeld van het gebruik van de Nifti-robots is na de aardbeving in het Italiaanse Mirandola (juli 2012). Destijds zijn de robots ingezet om de brandweer te helpen met het bepalen van de schade aan vooral culturele gebouwen zoals kerken. Het gebied was destijds nog te gevaarlijk voor mensen, maar op deze manier was het toch mogelijk om een inventarisatie te doen van de schade en te beoordelen welke gebouwen eventueel wel veilig waren.

Onlangs evalueerden de brandweermannen het gebruik van robotassistentie. Ze vonden dat het informatiedisplay een goed overzicht gaf van de rampsituatie. Het bleek niet zo handig dat de reddingswerker in het veld zijn tablet via een touchscreen moest bedienen. Met grote handschoenen aan is dat namelijk onmogelijk. Het zou beter zijn als de bediening via spraak of echte knoppen verliep. Betrouwbaarheid van communicatie met de robots vonden de eindgebruikers erg belangrijk, dus dat niet het contact wegviel met de commandopost. Verder waren ze te spreken over de mogelijkheid om verschillende sensoren op de robots te zetten.

Rijdende en vliegende robots hebben hun eigen kenmerken en vaardigheden. Een vliegende robot is in staat om snel een overzicht te geven van de situatie, omvang van het gebied en eventuele interessante plekken in het gebied waar zich slachtoffers kunnen bevinden. De rijdende robot biedt een ander perspectief, is wel een stuk langzamer, maar op plekken waar het nog te gevaarlijk is voor mensen om te komen, kan hij een waardevolle bijdrage leveren aan de verkenning. Op beide robots kunnen sensoren worden gezet. De vliegende robot heeft de mogelijkheid een gewone camera mee te nemen op zijn vlucht, maar ook een infraroodcamera of nachtzichtcamera. De rijdende robot kan dat ook, maar doordat deze een zwaardere last met zich mee kan dragen, kan hij ook specifieke sensoren meenemen, bijvoorbeeld voor het meten van gevaarlijke gassen en stoffen. Een robot is van toegevoegde waarde in een team van reddingswerkers. Hoe autonomer zulke robots in de toekomst worden en hoe beter ze in een team kunnen samenwerken, des te meer zullen ze ook worden ingezet.

Nanja Smets is wetenschappelijk onderzoeker bij TNO.