Google Home comprend votre animal de compagnie !

(©TURN ON 2017)What’s up pussy cat ?

Développer un agent conversationnel pour Google Home est complexe. Mais le plus dur c’est de le tester. Surtout quand on travaille dans un open space plein de collègues facétieux.

La politique BYOP (Bring Your Own Pet) d’OCTO ne facilite pas les choses : les sons émis par les animaux de compagnie sont également détectés par la console Google Home.

A notre grand étonnement nous avons constaté que cette détection est très sophistiquée.

La Google Home semble avoir acquis des capacités de compréhension du langage des animaux !

Chien ou Chat Bot ?

Voici par exemple le Json retourné par une Google Home lorsque le chat d’Oriane pousse un miaulement en pleine séquence de test :

Intrigués, nous avons essayé avec Fonzy, le chien de notre CEO. Cette fois, le Json contient la séquence suivante :

WTF?!

Nous avons activé nos contacts chez Google pour en savoir plus.

Ils ont confirmé l’information :  depuis avril 2017, Google Speech utilise Youtube comme principale source d'apprentissage.  Vu le nombre de vidéos de chats et de chiens hébergées par la plateforme, les algorithmes de Machine Learning de Google ont donc appris automatiquement à classifier les sons émis par chaque animal.

Google collabore avec la startup No more woof et envisage d’étendre les capacités du service Google Translate pour favoriser la communication inter-espèces et permettre à vos chiens et chats de commander des croquettes en votre absence.

L’accès à ce service est pour l’instant sécurisé : la commande vocale “OK Google” reste indispensable avant d’autoriser votre chien Rex à passer sa commande.

Reverse-Engineering Rex

Investigations avec une boite à meuh et un canard OCTO

Google refusant de dévoiler la liste des animaux concernés, nous avons été obligés de procéder par essai erreur pour déterminer les différentes valeurs des attributs renvoyés en fonction de différents sons d’animaux.

L'investigation est en cours grâce à un système original de tests fonctionnels semi-automatisés mis au point en collaboration avec la société CloudPets.

Voici les premiers résultats :

AttributDescriptionExemple de valeurs retournées
rawtextTranscription phonétique du son“wooaaf ooaf”, “miaew”, “mooo”, “onk”
localeEspèce et dialecte local“dog-fr”, “cat-fr”, “cow-fr”, “camel-fr”
textValueValeur transcrite dans la langue par défaut de l’enceinte“Ouaf ouaf”, “Miaou”, “Meuh”, “Onk”
sizeTaille (de l’animal ?)“small”, “medium”, “large”, “huge”
moodEtat émotionnel (?)“cool”, “passive”, “agressive”

Le plouf !

D’après nos observations, cela ne fonctionne pas encore avec tous les animaux.

Par exemple, la reconnaissance des intentions du canard OCTO est limitée. La boite à meuh donne de meilleurs résultats.

Le poisson rouge de l’aquarium de l’accueil n'a pas été reconnu lorsque nous avons approché un Google Home du bocal.

Nous pensions que cela venait de l'épaisseur de la vitre et nous avons donc plongé l’enceinte dans l’eau. Pour une raison inconnue, l’appareil s'est mis en court-circuit avant que les premières bulles ne soient reconnues.

Challengées par ce nouveau défi, nos équipes vont continuer les expérimentations et nous ne manquerons pas de vous tenir au courant de l'évolution de la reconnaissance vocale chez le poisson… À suivre !