Le jeudi 16 juin, nous étions chez Google France pour la présentation de la plateforme de réalité augmentée Google Tango et de la phablette Phab 2 Pro de Lenovo, le premier périphérique commercial utilisant cette technologie.
Qu'est-ce que Tango ?
Comment cela fonctionne ?
Pour quels usages ?
Nous vous dirons tout.
Qu’est-ce que Google Tango ?
Anciennement connu sous le nom de “Project Tango”, il est devenu officiellement “Google Tango” le 9 juin dernier et démontre avoir atteint un niveau de maturité suffisant pour ne plus être considéré comme un projet de R&D.
Tango est une technologie, développée par Google depuis 2 ans, qui permet de modéliser un environnement en 3 dimensions grâce à la captation d’images en temps réel depuis un périphérique mobile. Grâce à cette numérisation, le périphérique est capable de reconnaître rapidement son environnement et sa localisation sans utiliser de signal GPS ou Beacon, souvent peu pratique dans un intérieur ou peu précis.
Les 3 concepts de base
Le “Motion Tracking”
C’est la possibilité pour les périphériques intégrant Tango de se repérer en temps réel dans l'environnement. Quelque soit les déplacements (avant-arrière, latérale, rotation, hauteur), Tango va les détecter grâce à la combinaison de capteurs optiques et inertiels, et ainsi déterminer sa position dans l'espace.
L’ “Area Learning”
L’Area Learning est en quelque sorte la mémoire de Tango. Vous pouvez scanner des lieux allant d'une simple pièce au dédale de couloirs d'un bâtiment. Grâce à cet environnement 3D enregistré, le périphérique Tango pourra se situer précisément lorsqu'il sera à nouveau dans le lieu grâce à la reconnaissance d'éléments visuels clés comme les textures, les angles, les coins ou certains objets notables dans son champ de vision.
Le “Depth Perception”
C’est la capacité de voir en 3D et de déterminer les distances. Avec un périphérique munis de deux caméras et d'émetteur/récepteur infrarouge, Tango capte le relief de ce qu’il voit et arrive à calculer les distances/mesures entre les objets. Il sera alors possible de créer facilement une expérience en réalité augmentée de bonne qualité.
Tango rompt ainsi les barrières entre les différentes réalités : notre réalité, la réalité augmentée (AR) et réalité virtuelle (VR). Il est possible de faire de la AR en attachant des éléments virtuels sur le monde physique mais de s'immerger dans un monde virtuel tout en captant les mouvements réels de l'utilisateur.
Les 3 APIs pour développer un projet Tango
Google nous propose 3 APIs différentes pour profiter au mieux de Tango.
Une première destinée à Unity pour créer des jeux ou des applications nécessitant un moteur de rendu 3D.
Une deuxième pour les personnes qui sont familiarisées à Java pour les applications sur Android.
Et enfin une API en C dans le cas où vous auriez déjà un moteur 3D et que vous souhaitiez accéder à la couche basse directement.
La Lenovo Phab 2 Pro
Nourdine OUIDJA (Lenovo) a présenté en avant-première la phablette Phab 2 Pro (téléphone grand écran). C’est le premier périphérique (Android) qui embarque la technologie Tango. Il est le résultat de 2 ans de développement conjoint entre Google et Lenovo pour pouvoir concevoir un appareil capable de proposer des expériences en AR ou VR.
https://youtu.be/yBzDQWyFE6o
Les caractéristiques techniques
La Phab 2 Pro est équipée d’un écran 6,4” QHD (1 440px × 2 560px). A l’arrière, 3 caméras scrutent l’environnement :
un capteur 16M pixels couleur permettant de générer les textures
une caméra infrarouge capable de détecter la profondeur (couplé à son émetteur infra rouge)
une lentille fish eye pour élargir le champ de perception de l’appareil et de tracker les mouvements
Afin de rendre plus immersifs les contenus captés par la Phab 2 Pro, elle doit aussi enregistrer le son à 360 degrés. L’appareil est doté d’un capteur audio 5.1 composé de 3 micros. La restitution sonore spatialisée est faite grâce à la technologie Dolby Atmos®.
Pour calculer toutes ces informations en temps réel, un processeur Qualcomm® Snapdragon™ 652 est intégré dans la phablette.
La production devrait démarrer cet été pour une commercialisation à la rentrée 2016. Cette phablette devrait être abordable, car elle devrait être vendue autour de 500€.
Les démos présentées
Plusieurs démos ont été faites :
The Enemy Is Here : le photographe de guerre Karim Ben Khelifa était là pour présenter via son projet The Enemy comment la réalité virtuelle et réalité augmentée permettent une plus grande immersion et génèrent des émotions plus fortes. Un sujet très sérieux qui permet d'envisager de nouveaux moyens de communication. http://www.youtube.com/watch?v=2RmskvJ0mJY
Tango MeasureIt : c’est une application très simple permettant de mesure précisément longueur, surface ou volume. La prise en main est simple, l'application arrive à détecter automatiquement les angles entre le sol et le mur (snap) ce qui est pratique pour délimiter son espace de travail.
L’application du Musée National de New York permettant de visualiser des dinosaures en réalité augmentée dans la pièce. Il est possible de faire apparaître les dinosaures à l'échelle. La possibilité de se déplacer physiquement auteur d'eux ajoutait du réalisme à l'expérience.
Wayfair : une application permettant de visualiser des meubles en AR et de les acheter en ligne. L'application fonctionne correctement même s'il n'est possible que de poser des meubles au sol.
Un jeu de tir développé par GPartner (Devoteam)Voici une expérience originale et pertinante mixant VR et déplacement physique: l'intérêt du jeu réside dans le fait d'esquiver des balles rebondissantes en se déplacement réellement dans la pièce.
Les use cases envisagés
Plusieurs cas d'utilisation viennent à l’esprit :
Indoor mapping / localisation / Guidage en intérieur: il est possible de modéliser en 3 dimensions les couloirs d’un bâtiment, un réseau de métro et de détecter précisement la position de l'utilisateur sans balisage physique
Aide à distance avec affichage d’informations en AR
Mesures précises de longueur, surface, volume
Personnalisation d’objets en AR en appliquant des couleurs, textures...
Ajout d’informations contextuelles dans les rayons d’une grande surface ou dans un musée
Ameublement virtuel : placer virtuellement des objets dans son environnement physique
L'indoor mapping semble très intéressant car il permet de se localiser là où les GPS ne sont pas assez précis. Il permet aussi de faire de la visite virtuelle une fois que le lieu a été scanné.
L'AR et la personnalisation intéressent déjà des constructeurs automobiles et des e-commerçants. L'expérience est pertinente aussi bien pour la conception assistée par ordinateur, la prévisualisation par immersion ou la formation et l'assistance.
Notre point de vue
Les seuls points perfectibles que nous avons vu sont la portée de capture et la latence entre les mouvements réels et leur retranscription dans l'interface.
Pour le premier point, nous atteignons des limites de capture en deçà de 0.5m et au-delà de 4m environ. Ces limites sont inhérentes à l'utilisation de l'infrarouge sur mobile, seul une avancée technologique sur la gestion de la consommation électrique de l'infrarouge ou un changement de technologie de capture permettra d'améliorer cela.
Concernant la latence encore trop prononcée, elle empêchera d'avoir des expériences satisfaisantes de réalité virtuelle (comme DayDream VR/Cardboard) combinées au suivi des mouvements de Tango. En effet, ce décalage entre le mouvement de la tête et l'image perçue par le cerveau provoque le fameux "motion sickness" (nausée) souvent à l'origine des mauvaises expériences virtuelles. L'amélioration des processeurs et des temps traitements devrait faire disparaître prochainement ce problème.
En conclusion
Google est en train de préparer une plateforme mobile all-in-one pour la VR/AR avec beaucoup d’avantages. Un appareil compatible Tango (comme le Phab 2 Pro) pourra scanner un environnement, lui donner du volume grâce à la 3D et permettra de faire de la géolocalisation en intérieur sans réseau ou GPS. La promesse: des expériences de réalité augmentée ou virtuelle plus naturelles et plus immersives et pouvant se mêler plus facilement.
Une technologie à suivre assurément pour 2016 et 2017.
