Réalité Virtuelle, Augmentée, Mixte: Faisons le point

Cet article a pour vocation de tenter d’éclaircir les nuances entre ces différentes expériences immersives, mais aussi de vous donner un bref aperçu des différents périphériques existants actuellement sur le marché.

La Réalité Virtuelle - VR

Application de formation sur les conduites de gaz des techniciens de GRTgaz

La réalité virtuelle est une simulation d’un environnement virtuel ou réaliste.

Son but est de créer une expérience sensorielle en faisant principalement appel à la vue et l'ouïe. Le toucher peut-être aussi simulé avec le retour de force dans des contrôleurs.

Les autres sens (odorat et goût) sont encore trop peu sollicités pour le moment car nécessitant un appareillage contraignant et souvent intrusif.

Le dispositif principal utilisé pour la VR est un casque qu’on appelle aussi HMD (Head-mounted Display).

Les principaux acteurs sur le marché sont :

  • Google Cardboard et Daydream
  • HTC Vive
  • Oculus Rift
  • Samsung GearVR
  • Sony Playstation VR

Les casques dominent largement ce secteur mais ne sont pas les seuls dispositifs à faire de la réalité virtuelle.

Un peu moins grand public, les salles immersives sont aussi appelées CAVE (Cave Automatic Virtual Environment). L'utilisateur est dans une pièce où l’on projette des images sur les différents murs qui l’entourent. La perspective du point de vue de l’utilisateur est calculée en temps réel à l’aide d’un système de capture de position.

L’expérience peut être améliorée avec un son multicanal et des images projetées en 3D (rendu stéréoscopique) mais dans ce dernier cas l’utilisateur devra s’équiper de lunettes 3D comme celles que l’on retrouve au cinéma ou sur les TV 3D.

Plutôt utilisé dans l’industrie, l’architecture, la conception et le design. L’avantage de ce type d'installation est l’immersion totale, il n’est pas nécessaire de représenter notre corps.

Il faut prévoir à la fois un espace et un budget conséquent de l’ordre de plusieurs centaines de milliers d’euros.

La réalité augmentée et la réalité mixte

Vous avez surement déjà entendu parlé de la réalité augmentée mais avez-vous déjà entendu parler de réalité mixte ? Si oui, peut-être que la différence entre les deux n’est pas assez claire.

Les définitions sur les technologies émergentes se créent, parfois changent et s’affinent dans le temps. La réalité mixte est venue préciser certaines attentes que nous avions de la réalité augmentée. Certains disent que la réalité mixte est simplement ce que nous attendions de la réalité augmentée.

La Réalité Augmentée - AR

Le principe est d’afficher des images 2D/3D ou des informations en les superposant au monde réel sur un écran transparent. Ces informations sont donc au premier plan mais elles doivent prendre en compte l’environnement dans lequel nous sommes. Connaître la position GPS ne suffit pas, il faut aussi reconnaître où nous regardons, reconnaître par les formes ou par l’image, les objets qui constituent notre environnement. Il faut donc un alignement spatial avec la réalité.

Une expérience AR peut être une altération comprendre ici une augmentation ou diminution directe ou indirecte du monde réel.

L’altération indirecte ou par intermédiation est présente quand le réel est capté par une caméra puis restitué sur l’écran en l’augmentant avec du contenu. Nous voyons donc une représentation du réel au travers du périphérique. Le cerveau distingue donc les deux environnements, celui réel qui l’entoure et celui augmenté retransmis sur l'écran, il n’y a pas de confusion entre les deux.

Nos smartphones peuvent proposer des expériences AR, ils présentent l’avantage de posséder un certain nombre de capteurs utiles et d’être mobiles, très répandus et peu encombrants. Malheureusement, ceux-ci ne peuvent pas encore proposer une altération directe de notre environnement, seulement une altération sur la restitution du réel.

Pour avoir une altération directe, il faut donc voir “à travers” les périphériques qui couvrent une partie significative de notre champ de vision. Cela peut-être un écran transparent sur des lunettes, une visière ou plus tard directement nos lentilles de contact, nous permettant de continuer d’observer le réel “en direct”.

Aujourd’hui, les périphériques AR directs sont assez spécifiques dans leur domaine comme le F-35 Helmet Mounted Display System ou DAQRI Smart Helmet

Pour le marché grand public, si on fait fi des écrans transparents, les smartphones peuvent être une très bonne alternative et possèdent déjà tout l’équipement nécessaire pour une expérience d’AR: un module GPS, des capteurs de mouvements (accéléromètres,  gyromètres et magnétomètres) et une caméra.

La Réalité Mixte - MR

Ce nouveau terme fut popularisé par Microsoft pour la sortie de périphérique Hololens afin de mettre en avant la cohabitation entre le réel et le virtuel. Il est admis que la réalité mixte englobe entres autres la réalité augmentée.

Ce n’est plus une simple superposition comme avec l’AR, le contenu que nous allons représenter aura une cohérence visuelle avec l’environnement réel dans lequel il sera positionné (coordonnées spatiales).

Un objet virtuel peut donc se retrouver caché derrière un objet physique réel (occlusion). Il y a souvent reconnaissance des surfaces simples comme les plans du sol, des murs, des tables qui vont servir à mieux reconnaître où nous sommes et pour rendre réaliste le positionnement d’objets virtuels par rapport aux objets réels présents (spatial awareness).

Si notre objet est en 3 dimensions, nous pouvons alors le poser sur une table réelle et tourner autour de celui-ci afin observer toutes ces facettes sous différents angles.

Comme pour l’AR, il est préférable qu’il y ait une altération directe de notre environnement et non une restitution du réel sur un écran.

Pour les périphériques, Microsoft possède son propre casque totalement autonome : Hololens, nous avons déjà parlé de l’HoloLens ici.

De son côté, Google avec Tango prépare une plateforme pour la réalité mixte à l’instar de Microsoft avec HoloLens et le système d'exploitation Windows Holographic.

Google s’associe avec Lenovo pour sortir le Phab 2 Pro qui est une phablette équipée d'émetteur/récepteur infrarouge. Vous pouvez retrouver plus d’informations sur Tango dans cet article.

La récente annonce d’Apple concernant la sortie du kit de développement ARKit sur iPhone vient confirmer cette tendance.

Les faux-amis

Certains projets de réalité augmentée peuvent ne pas être acceptés par les puristes, voici deux exemples de projets assez connus.

Google Glass

Il faut souligner que ce projet avait fait l’effort de se munir d’un écran transparent sur lequel était projeté des informations. Il y avait donc bien altération du monde réel en direct mais celles-ci ne s'alignaient pas sur le réel. Notre environnement n’était pas reconnu.

Il faut plus les voir comme un petit écran qu’on porterait à la hauteur de nos yeux. Cela s’apparente plus à un affichage tête haute (Head Up Display), comme le font certains GPS qui affichent des informations sur le pare-brise du véhicule.

Pokémon Go

Même si nous avions presque pardonné au célèbre jeu de cet été que cela soit sur un écran qui ne permet pas l'altération directe. Encore une fois, c’est le non-alignement avec le réel qui ne le caractérise pas d’expérience AR.

La société Niantic qui a réalisé l’application tente de nous le faire croire avec l’affichage du flux vidéo de la caméra mais les Pokémons ne sont pas différemment affichés suivant ce que vous regardez. Les Pokémons qui volent vont être placé plutôt vers le haut de votre écran et inversement pour ceux qui ne le sont pas. L’horizon ou le sol ne sont pas calculés avec le flux caméra mais avec l'accéléromètre de votre téléphone.

Notre vision

La réalité virtuelle va être largement portée par le secteur du divertissement avec le jeu vidéo c’est indéniable. Néanmoins certaines entreprises ont déjà compris que cela pouvait-être un très bon vecteur de communication en faisant appel directement aux sens et à l’immersion, l’utilisateur est plus sensibilisé au message que l’on veut transmettre.

Scénario de sensibilisation aux risques ferroviaires SNCF - 76.000 élèves formés en 2016

La VR nous permet aussi de nous représenter des objets non percevables à l’oeil nu, immensément grand ou encore des concepts abstraits. Dans l’éducation, Brian GREEN, un professeur physicien à l’université Columbia, propose à ses étudiants d’expliquer la théorie des cordes grâce à la VR.

Mais nous pensons que la VR est un outil parfait pour la formation avec la capacité d’apprendre par l’erreur dans un milieu virtuel sécurisé. Les secteurs de l’éducation, l’industrie et de la santé seront les marchés principaux à en tirer parti.

Même si Microsoft nous propose un très beau produit avec Hololens, porter un casque 8h par jour est une contrainte et va freiner l’adoption. En ciblant une utilisation sur de courtes durées, la AR/MR seront utilisés pour la visualisation, la formation, l’assistance temps réel et la téléprésence.

Nous pensons que la démocratisation de la réalité augmentée se fera avec l’intégration dans les périphériques du quotidien (téléphones, tablettes…) et la création de périphériques légers et spécialisés (en tant qu’outils de productivité).

Si le sujet vous intéresse ou que vous avez un projet sur lequel vous voudriez notre éclairage, contactez notre pôle d’expertise “Virtual Immersion & Bot Experience” sur vibe [at]  octo . com