Op bezoek in het ExploreLab van Fontys Hogeschool Mens en Gezondheid

Vandaag was ik samen met een aantal collega’s op bezoek bij Pieter van Gorkom van de Fontys Hogeschool Mens en Gezondheid. Pieter liet ons het ExploreLab zien en dan met name het gebruik van Virtual Reality binnen de hogeschool. Samenvatting: het was indrukwekkend!

Pieter liet ons eerst de controlroom zien waar de camera’s die in het lab ophangen bediend worden. De zes vaste, op afstand bestuurbare camera’s kunnen individueel of in combinatie gebruikt worden om opnames te maken van situaties. Bijvoorbeeld om vanuit verschillende hoeken te kunnen analyseren hoe iemand een beweging maakt. Zodat je kunt inschatten hoe een correcte en onjuiste beweging er uit zien. Video kan live gestreamed worden ten behoeve van onderwijs op afstand etc.
Mooi spul!

Maar minstens zo indrukwekkend was het gebruik en ook de veelzijdigheid van het gebruik van Virtual Reality. Pieter liet ons achtereenvolgens een aantal toepassingen zien (en uitproberen).

Zo beschikken ze over een reanimatie scenario waarbij je hartmassage toepast. Via een Leap Motion  die op een HTC Vive bevestigd is kun je je handen zien en een pop in VR. Die pop ligt ook in het echt voor je en daar voer je hartmassage op uit. Een vervolgwens is nog dat de data vanuit die pop teruggevoerd wordt naar het systeem zodat ook die zichtbaar wordt.
Er is in dit scenario bewust gekozen voor VR en niet AR omdat Pieter nu ook heel eenvoudig de omgeving van de pop kon veranderen. Met een druk op de knop zat je langs de snelweg met lawaai, sirenes en chaos. Of tussen een groep mensen tijdens een avond stappen die wel roepen maar niet helpen. Kortom, situaties die normaal gesproken niet gemakkelijk te oefenen zijn.

Een ander voorbeeld is het gebruik van scenario’s waarbij je in een virtuele omgeving opdrachten moet uitvoeren en waarbij de virtuele personages deels door de docent/begeleider bestuurd worden. Hoe gedraag jij je als je bij een psychiatrische inrichting dreigend benaderd wordt door een patiënt?
Bij de virtuele omgeving kun je zelf bewegen (en via de Leap je handen gebruiken). Eenvoudiger te maken is het voorbeeld waarbij ze 360-graden video gebruiken om met acteurs situaties te laten voelen. Ook al kun je dan zelf niet rondlopen of reageren, de emotie voel je wel. Zulke video’s kunnen ook gebruikt worden om juist emoties weg te nemen. Bijvoorbeeld door iemand al voorafgaand aan een operatie vanuit het oogpunt van de patiënt mee te nemen door de procedure en de stappen die iemand dat zal ondergaan.

Een andere heel mooie toepassing is het gebruik van ModBox. Deze omgeving stelt je in staat om binnen omgevingen compleet eigen scenario’s te bouwen zonder dat je er een Unity programmeur of iemand met vergelijkbare technische kennis voor nodig hebt. Pieter heeft zelf, mede op basis van info, vragen en onderwerpen aangeleverd door collega’s, een aantal virtuele escaperooms gebouwd.

Hierbij heeft steeds 1 student de bril op en helpen de anderen hem. Zij zien op het grote scherm wat de student doet. We hebben de korte versie zelf uitgeprobeerd en het mooie is dat je als “toeschouwer” meteen bij de uitdagingen betrokken wordt. Het aanpassen van de omgeving, het toevoegen van vragen en uitdagingen rond nieuwe onderwerpen is (relatief) eenvoudig. Het is sowieso een sjabloon dat gemakkelijk aan te passen is.

In mijn tweet zie je een kort filmpje over de demo die Pieter gaf van de uitgebreide versie:

Super coole demo van escaperoom in VR door @PietervanGorkom Eenvoudig inhoud aan te passen, wordt ingezet in onderwijs bij @Fontys Mens en Gezondheid #ModBox https://t.co/BTHnvJ5Sa0 pic.twitter.com/3X0ZmqSC0o

— Pierre Gorissen (@PeterMcAllister) February 1, 2018

De applicatie YOU van ShareCare is helemaal gratis en valt in de categorie “kun je nooit zelf zo mooi maken”, maar hij is gratis en absoluut een aanrader als je anatomielessen geeft. Pieter gebruikt de toepassing zelf ook om korte instructies te geven. Ook hier overigens steeds vanuit het principe dat één iemand de bril op heeft en de rest via het grote scherm mee kan kijken. En ik moet zeggen, het is helemaal niet erg om niet altijd zelf de bril op te hebben en mee te kijken naar wat iemand anders ziet.

3D-foto’s / 360-graden
Naast de “gewone” 360-graden video’s die je op de HTC Vive kunt bekijken (Pieter tipt daarvoor de gratis Gopro VR viewer), beschikt het lab ook over een Matterport 3D camera. De Matterport maakt automatisch een dieptekaart van de ruimte op basis van de foto’s die hij maakt. Het resultaat kan in een soort Google Streetview viewer bekeken worden, maar kan  ook met behulp van Unity omgezet kunnen worden in een virtuele 3D wereld/foto waar je doorheen kunt lopen. Het lab experimenteert nu met het op die manier in beeld brengen van operatiekamers en andere plekken waar studenten niet vaak of eenvoudig komen.

Het in kaart brengen van een ruimte kost even wat tijd (je moet heel wat foto’s nemen), maar het proces is ook nu overzichtelijk.

Voor de liefhebbers nog 2 foto’s vanuit de video controlroom:

Ik had geen Theta V bij me maar de Insta360 Air bovenop mijn telefoon. Die had wat problemen om ook de inhoud van de beeldschermen te laten zien, dus even een foto gemaakt met de lichtinstelling op donker zodat je ook de beeldschermen kunt zien:

Het  zal je na het lezen van bovenstaand verhaal niet verrassen dat het voor ons een heel inspirerend bezoek was. Mooi om te zien hoe hier Virtual Reality op zo’n diverse manier in het onderwijs toegepast wordt. Dank je voor de uitvoerige toelichting en demonstratie Pieter!
Natuurlijk gaan we een vervolgafspraak plannen zodat we Pieter ook het iXperium en het iXperium Health in Nijmegen kunnen laten zien.