Echte Mixed Reality bij The Weather Channel

Afgelopen week plaatste The Weather Channel weer een nieuw “Immersive Mixed Reality” (ik zal gewoon “Mixed Reality” gebruiken) item in de serie van items die ze de afgelopen tijd al gemaakt hebben (zie de hele playlist hier). Dit nieuwste item legt uit hoe ijsstormen ontstaan en waarom ze gevaarlijk zijn.

Grote vraag is wat mij betreft hoe lang dit concept meerwaarde blijft hebben, of er gewenning ontstaat en natuurlijk of het beter beklijft bij de kijkers. Ik haal het niet echt in mijn hoofd om te roepen dat we zoiets ook in het onderwijs zouden moeten willen maken. Al ben ik wel nieuwsgierig naar de productiekosten per item.

The Verge had een interview met Michael Chesterfield, “director of weather presentation” bij The Weather Channel. Het interview is sowieso leuk om te lezen omdat het duidelijk maakt dat het niet zomaar even een kwestie is van een greenscreen en een paar leuke animaties als je zo’n item maakt.

Maar klopt die naam “Immersive Mixed Reality”  wel?
Een andere reden om er naar te verwijzen en over te schrijven is het nog steeds tamelijk verwarrende gebruik van de term Mixed Reality. Als je er naar gaat zoeken kom je bv bij deze toelichting, of deze beschrijving en natuurlijk info op Wikipedia. Daarbij lijkt Mixed Reality een soort “next step” te zijn ten opzichte van Virtual Reality (VR) en Augmented Reality (AR). Vanuit dat oogpunt is dit absoluut geen Mixed Reality. Microsoft gebruikt “Mixed Reality” voor haar hele productrange waaronder ook “gewone” VR brillen en de Hololens in voor komen.

Het werkt daarom waarschijnlijk beter om de definitie van Mixed Reality als een schaal aan te houden (plaats van één individueel punt), zoals hier gedaan wordt. Dan passen zowel het gebruik van de term door Microsoft als ook de toepassing van The Weather Channel in het verhaal. Bij The Weather Channel combineren ze de werkelijke omgeving met de weerman/weervrouw met real-time, in Unreal Engine, gerenderde beelden. Op sommige momenten schakelen ze heel slim tussen “werkelijkheid” en de virtuele omgeving.

Kijk maar eens naar bovenstaande aflevering en dan met name naar het stuk vanaf een minuut of vijf. Kun je zien waar ze overschakelen tussen het camerabeeld van de studio en de in Unreal gerenderde versie ervan?
Voor de mensen die écht details willen weten is dit bericht interessant. Een van de filmpjes uit het bericht plak ik hieronder in:

Het andere filmpje, een niet helemaal optimale opname van een presentatie tijdens SIGGRAPH 2018 is de basis voor de tekst in het bericht met van die heerlijke nerd-info er in (ik heb een paar links toegevoegd in de oorspronkelijke tekst):

“In order to do live AR for broadcast we had to create our own version of the Unreal Engine that we’re calling Frontier. Frontier [Pierre:video] gives us broadcast video input and output of the engine itself, we do this with AJA Corvid 88 or an AJA Kona card. We also need to implement camera telemetry into the Unreal Engine. For the camera telemetry we use the Mo-Sys StarTracker [Pierre: video], which uses small reflective dots that are stuck to the ceiling of the studio. The StarTracker sensor picks up all these dots so we know exactly where the camera is in the studio, at all times.”

“We also implement an internal composition plane with colour grading and total mapping into Unreal Engine, allowing us to move the lighting and the actual talent themselves that are in the virtual environment, so it matches the real world. Our external keyer is using Blackmagic Ultimatte [Pierre: video] and we’ve also spec’ed out two silver Jeff’s supercomputing pc’s with an NVIDIA Titan V, we use 128gb RAM for the EXR sequence of the tornado itself. We also implement an internal AR compositing where we take the broadcast video from the camera and overlay it with augmented reality items on top of it.”

Maar The Weather Channel doet dit allemaal natuurlijk ook niet zomaar. Het kanaal is een merk van The Weather Company (in licentie gegeven aan een consortium van bedrijven) en eigenaar daarvan is IBM. Op de zakelijke pagina’s van The Weather Company kom je o.a. een pagina tegen over Max Reality: Augmented Reality Weather met daarin o.a. onderstaand filmpje:

Datavisualisatie (en geld verdienen daarmee) is een logisch onderdeel van het bedrijf dat ooit immers begon met dataverwerking.

In het filmpje over Frontier waar ik hierboven naar link wordt ook verwezen naar de gameshow “Lost in Time”. Hieronder zie je de aankondiging ervan:

Hieronder (en in dit bericht) zie je nog net iets meer “behind the scenes” clips:

De spelers zijn actief in een set met vooral veel groen, de kijker ziet een fantastisch decor en super spannende actie. Nou ben ik niet echt een goede graadmeter voor online TV-spelletjes, maar zeg jij het maar: is dit de toekomst of een dure doodlopende weg?

Voor mensen die sceptisch zijn over de vraag of Mixed Reality de hype-fase al voorbij is, ik denk van wel, maar het is nog lang niet aan het einde van zijn ontwikkeling.