Quizz : Avez-vous mis en place les bonnes pratiques Chatbot ?

le 14/01/2019 par Guillaume Moizan, Eric Dubois, Vincent Guigui

Les chatbots font fureur, vous avez même déjà lancé votre projet ou vous comptez en déployer un prochainement. Mais une question vous taraude: ai-je pensé à tout ? Nous vous proposons un questionnaire d'auto-évaluation pour vérifier si vous appliquez correctement les bonnes pratiques ergonomiques, organisationnelles et techniques en terme d'agent conversationnel.

Evaluez maintenant vos réflexes Chatbot.

1) J'ai décidé de faire un chatbot pour:

Faire le buzz parce que c'est quand même l'année des chatbots Pour explorer une solution technologique Pour répondre à un besoin métier

C'est effectivement une façon de prioriser un projet.

Toutefois, soyez vigilant aux critères de succès (KPI), vous risquez de développer et d'introduire une brique complexe dans votre système d'informations sans que cela soit motivé par un besoin métier. Au final, votre bot risque de ne pas être utilisé et même d'avoir un effet négatif sur votre image de marque.

Avant de se lancer dans un projet, adoptez une approche centrée utilisateur en validant le besoin.

Quels sont les douleurs ("pain points") de mes utilisateurs ?
Quelles solutions puis-je fournir pour les aider ?
Est-ce que le chatbot est le bon moyen de les aider ?

Restez pragmatiques et testez le plus tôt possible l'adoption et la pertinence de la solution en la confrontant à une population cible

A lire: quelques articles sur le sujet de l'UX Design.

Effectivement, tester et évaluer les technologies (benchmark) est primordial avant l'intégration dans le système d'informations.

Toutefois, il n'est pas indispensable d'aller jusqu'en production lorsque le besoin métier ne le justifie pas. Pour évaluer une technologie, vous pouvez vous concentrer par exemple sur:

les fonctionnalités proposées par la plateforme de chatbot (CMS, SDK, canaux, langues, tarification, hébergement, ...),
la mesure de ses performances (temps de réponses, qualité du NLU, ...),
l'intégration au SI,
les règles de stockage des données et de confidentialité
...

A lire: quelques articles sur le sujet de l'UX Design.

Très bonne idée.

Avant de se lancer dans un projet, adoptez une approche centrée utilisateur en validant le besoin.

Quels sont les douleurs ("pain points") de mes utilisateurs ?
Quelles solutions puis-je fournir pour les aider ?
Est-ce que le chatbot est le bon moyen de les aider ?

Restez pragmatiques et testez le plus tôt possible l'adoption et la pertinence de la solution en la confrontant à une population cible.

A lire: quelques articles sur le sujet de l'UX Design.

2) Ai-je défini une personnalité pour mon chatbot ?

Oui Non

Bravo !

Une identité est importante pour créer un attachement et représenter votre marque auprès de vos utilisateurs. Lors de la création de la personnalité, vous devrez penser à des éléments comme:

son avatar et son nom
son genre (homme, femme, neutre) ou son espèce (robot, animal, trombone...)
son ton : familier, enjoué, impersonnel, humoristique, tutoiement/vouvoiement...

Attention toutefois à ne pas faire croire que votre chatbot est un humain. Vos utilisateurs se sentiront trahis et déçus en découvrant le manque de polyvalence de ce faux humain.

De plus, vous pouvez faire le choix d'une personnalité neutre voire faire disparaître la notion de chatbot pour le concevoir comme une simple interface de saisie.

Exemples de personnalité: Enjouée, impersonnelle, absente

A lire: Comment bien définir la personnalité de son bot.

Attention, une identité est importante pour créer un attachement et représenter votre marque auprès de vos utilisateurs.

Lors de la création la personnalité vous devrez penser à des éléments comme:

son avatar et son nom
son genre (homme, femme, neutre) ou son espèce (robot, animal, trombone...)
son ton : familier, enjoué, impersonnel, humoristique, tutoiement/vouvoiement...

Prenez garde toutefois à ne pas faire croire que votre chatbot est un humain. Vos utilisateurs se sentiront trahis et déçus en découvrant le manque de polyvalence de ce faux humain.

De plus, vous pouvez faire le choix d'une personnalité neutre, voire faire disparaître la notion de chatbot pour le concevoir comme une simple interface de saisie.

Exemples de personnalité: Enjouée, impersonnelle, absente

A lire: Comment bien définir la personnalité de son bot.

3) Le premier message de mon chatbot :

explique ce qu'il sait faire propose plusieurs actions à mon utilisateur est une question ouverte du type "Comment puis-je vous aider ?"

Parfait !

Un chatbot ne pourra pas répondre à n'importe quelle demande. Il est donc important de communiquer au plus tôt à l'utilisateur les fonctionnalités du chatbot. Vous pouvez aussi proposer, dès l'introduction, des actions de type routage via des boutons de quick-reply, afin de router rapidement l'utilisateur vers les bons embranchements de l'arbre conversationnel.

Malin !

En proposant plusieurs actions à l'utilisateur, il est immédiatement guidé vers les bons embranchements de l'arbre conversationnel. Vous facilitez ainsi l'expérience en évitant à l'utilisateur de réfléchir à la formulation de sa demande et la saisir.

C'est risqué !

Le fait de ne pas orienter l'utilisateur ouvre un champ de possibilités de thématiques très large. Votre chatbot n'a surement pas été implémenté pour gérer toutes les demandes et l'utilisateur sera frustré si il obtient un "Je n'ai pas compris" dès sa première interaction. Nous recommandons que le chatbot se présente et précise son périmètre via une introduction rapide. En bonus, l'utilisation de boutons de quick-reply permet de router rapidement l'utilisateur vers les bons embranchements de l'arbre conversationnel.

4) Un chatbot est adapté pour :

répondre à des questions type FAQ router l'utilisateur vers le bon formulaire, la bonne page web, le bon service... gérer l'insatisfaction et la négociation face à client accéder à une information précise issue du système d'informations prendre des décisions rapides à la place d'un conseiller désengorger voire remplacer le service client réduire le temps d'attente utilisateur pour des demandes triviales

Les chatbots sont particulièrement adaptés à des problématiques simples.

Il peut s'agir de questions type FAQ ou des demandes d'informations précises pouvant tirer parti des données du système d'information métier. L'immédiateté et la disponibilité du chatbot en font un canal de choix pour permettre à l'utilisateur d'obtenir des réponses rapides pour des demandes triviales.

Certaines demandes peuvent être complexes à formuler par l'utilisateur ou liées à une situation anxiogène (ex: une déclaration de sinistre). Dans ces cas, l'utilisateur préférera s'adresser à une humain pour adresser son problème.

De plus, ce n'est pas parce que la demande est comprise qu'il faut obligatoirement implémenter le processus métier dans le chatbot. Il est possible et parfois pertinent de simplement rediriger l'utilisateur vers le bon service (formulaire, page web, live chat): c'est ce qui est appelé "routage".

Les chatbots ne sont pas pour l'instant suffisamment matures pour traiter des problématiques complexes ou demandant de l'empathie comme :

la gestion de l'insatisfaction client
la prise de décisions à la place d'un conseiller

Attention: Bien que les chatbots puissent réduire le nombre d'appels au service client en apportant des réponses aux demandes simples et courantes, ils ne pourront pas totalement remplacer les humains.

5) Mon chatbot reformule ou demande une confirmation :

pour chaque interaction utilisateur car il ne faut pas se tromper pour aucune car il faut répondre au plus vite à l'utilisateur Au cas par cas en fonction du type d'actions déclenchées

Attention, demander une confirmation pour chaque interaction est très pénible pour l'utilisateur.

On peut considérer qu'une consultation d'information ou une action à faible impact peut être déclenchée sans confirmation (ex: connaitre le statut d'une commande, allumer une lumière) Par contre, il est conseillé de demander une confirmation avant de déclencher des actions à fort impact utilisateur (ex: virement bancaire, message publique sur un réseau social...)

Attention, il est conseillé de demander une confirmation avant de déclencher des actions critiques

Les opérations critiques sont par exemple un virement bancaire, message publique sur un réseau social, une souscription payante.

Toutefois, il ne faut pas demander une confirmation pour chaque interaction, ce qui deviendrait très pénible pour l'utilisateur. On peut considérer qu'une consultation d'information ou une action à faible impact peut être déclenchée sans confirmation (ex: connaitre le statut d'une commande, allumer une lumière)

En effet, ça dépend !

Il est conseillé de demander une confirmation avant de déclencher des actions à fort impact utilisateur (ex: virement bancaire, message publique sur un réseau social...). Toutefois, il ne faut pas demander une confirmation pour chaque interaction, ce qui deviendrait très pénible pour l'utilisateur. On peut considérer qu'une consultation d'information ou une action à faible impact peut être déclenchée sans confirmation (ex: connaitre le statut d'une commande, allumer une lumière)

6) Mon chatbot est disponible sur plusieurs canaux (voix, messagerie, app mobile) et il propose :

la même expérience quel que soit le canal une expérience différente pour chaque canal

Il est possible, dans un premier temps, de proposer une expérience unifiée quel que soit le canal.

Toutefois, pour avoir l'expérience utilisateur la plus fluide possible, il est recommandé d'adapter les interactions du bot aux spécificités de chaque canal.

Il peut s'agir de réponses plus courtes lorsqu'il passe par un assistant vocal, de l'utilisation de réponses de type image / carrousel sur une messagerie en ligne ou du déclenchement d'actions propres à l'application mobile sur cette dernière (ex:scan avec la caméra, lien profond vers un écran de l'application, récupération de tokens...).

Effectivement !

Pour avoir l'expérience utilisateur la plus fluide possible, il est recommandé d'adapter les interactions du bot aux spécificités de chaque canal.

7) Mon chatbot a été conçu pour répondre :

uniquement à des thématiques précises au maximum de demandes des utilisateurs c'est plus compliqué que cela

Bien vu !

Il est important de définir un périmètre fonctionnel et des typologies de questions sur lesquelles le chatbot est officiellement compétent. En vous basant sur des historiques de conversations (support client), sur des études UX, sur les services exposés par le système d'informations et sur une supervision intensive du bot durant ses premières semaines, vous pourrez définir 3 catégories de demandes:

Les demandes à traiter de bout-en-bout par le bot:

Pour ces demandes, le chatbot a été entraîné (NLU) et sait répondre de manière statique (ex: FAQ) ou formule une réponse dynamique (appel API).

Les demandes non-traités pour des raisons techniques ou métier:

Pour ces demandes, le chatbot a été entraîné (NLU) mais vous avez décidé que ce n'était pas de la responsabilité du chatbot d'y répondre dans sa version actuelle. Pour l'utilisateur il est moins frustrant de se voir répondre "Je ne sais pas encore faire XXX" plutôt qu'un générique "Je n'ai pas compris". De plus, il est possible de rediriger (routage) l'utilisateur vers le service / formulaire / page web adéquat qui traite déjà ce type de demandes efficacement. L'identification de ces demandes vous permet d'obtenir des statistiques d'usage pouvant vous aider à prioriser les futures fonctionnalités et d'avoir un entrainement déjà initié.

Les demandes hors-scope:

Il ne faut pas essayer de répondre à tous les cas possibles, cela est rapidement consommateur en temps et les utilisateurs feront toujours preuve d'imagination pour explorer les limites de votre chatbot. Ce n'est pas grave.

C'est un travail colossal et à faible valeur ajoutée.

Il est important de définir un périmètre fonctionnel et des typologies de questions sur lesquelles le chatbot est officiellement compétent. Dans le champ des demandes possibles et imaginables, certaines demandes ne seront probablement jamais posées et d'autres seront très récurrentes. C'est sur ces dernières qu'il faut se concentrer. En vous basant sur des historiques de conversations (support client), sur des études UX, sur les services exposés par le système d'informations et sur une supervision intensive du bot durant ses premières semaines, vous pourrez définir 3 catégories de demandes:

Les demandes à traiter de bout-en-bout par le bot:

Pour ces demandes, le chatbot a été entraîné (NLU) et sait répondre de manière statique (ex: FAQ) ou formule une réponse dynamique (appel API).

Les demandes non-traités pour des raisons techniques ou métier:

Les demandes hors-scope:

Tout est une question d'usage.

Les demandes à traiter de bout-en-bout par le bot:

Pour ces demandes, le chatbot a été entraîné (NLU) et sait répondre de manière statique (ex: FAQ) ou formule une réponse dynamique (appel API).

Les demandes non-traités pour des raisons techniques ou métier:

Les demandes hors-scope:

8) Les rôles suivants ont été prévus et attribués au sein de mon équipe :

Responsable métier / Product Owner CUX (Conversational User Experience) Développeur integrateur (front-end / mobile) Expert Blockchain Développeur Chatbot Linguiste / Entraîneur de bot Expert IA / Data-Scientist Chief Bot Officer Superviseur

Les rôles suivants sont à identifier lors d'un projet chatbot: Selon l'ampleur du projet, une même personne peut assumer plusieurs rôles. Pour rappel, un chatbot n'est pas une Intelligence Artificielle mais un moteur de règles simulant une conversation et utilisant une brique, souvent sur étagère, de Machine Learning pour la partie reconnaissance du langage (NLU).

9) La supervision de mon chatbot passe principalement par :

une analyse quotidienne des interactions bot-utilisateur le suivi de KPI (notamment le nombre d'interactions et le taux de phrases non reconnues)

Vrai !

En analysant les interactions bot-utilisateur, vous pouvez améliorer la performance du chatbot en détectant notamment:

les phrases qui auraient dû être reconnues par le bot
les faux-positifs (phrases associée par le bot à la mauvaise intention)
l'efficacité de l'arbre conversationnel
les nouveaux besoins exprimés par les utilisateurs

L'exercice est idéalement quotidien durant les semaines suivant le lancement pour identifier les problèmes au plus tôt et améliorer votre chatbot en continu.

En fonction de l'objectif de votre chatbot, il peut être considéré comme un outil marketing ou commercial. Ainsi, en plus de la mesure de la performance du NLU et de la qualité de la conversation, vous devrez intégrer des indicateurs liés au web-marketing (pensez: conversation, goal, funnel, bounce, drop-off...)

Utile mais pas suffisant !

En se basant uniquement sur des indicateurs automatiques et quantitatifs, vous pourriez passer à côté de problèmes comme:

les phrases qui auraient dû être reconnues par le bot
les faux-positifs (phrases associées par le bot à la mauvaise intention)
l'efficacité de l'arbre conversationnel
les nouveaux besoins exprimés par les utilisateurs

Dans le cas d'un faux-positif, le bot croit avoir compris l'utilisateur mais s'est trompé. Il est donc impossible de le detecter automatiquement.

Le moyen le plus efficace de les détecter est d'analyser les logs des interactions bot-utilisateurs pour vérifier ce qu'a compris et répondu le bot. L'exercice est idéalement quotidien durant les semaines suivant le lancement pour identifier les problèmes au plus tôt et améliorer votre chatbot en continu.

10) Mon chatbot demande un feedback en fin d'interaction :

Oui Non

Bonne idée !

Demander du feedback en fin d'interaction permet d'obtenir le ressenti de l'utilisateur. Il peut s'agir d'une notation sur 5 étoiles, d'un pouce en l'air / baissé ou d'un champ libre. Il est conseillé de demander du feedback après une interaction complexe ou plusieurs interactions simples, mais pas systématiquement. Attention, il faut permettre à l'utilisateur de s'exprimer mais sans accaparer l'espace de chat avec un formulaire à chaque fois.

Ci-dessous un bon exemple :

Récupération de feedback en fin d'interaction

C'est dommage !

Ci-dessous un bon exemple :

Récupération de feedback en fin d'interaction

11) L'entrainement d'un chatbot consiste à :

connecter le bot aux bases de données métier pour qu'il découvre les données qui y sont disponibles associer des phrases d'exemples à des cas métier pour qu'il sache les reconnaitre les deux réponses du dessus

Malheureusement, le chatbot ne peut pas découvrir et comprendre les données métier disponibles par lui-même.

L'entrainement d'un chatbot consiste en réalité à fournir des phrases d'exemples, semblables à celles qu'écriront les utilisateurs, et de les associer à une règle / intention du chatbot. Ex: "Quelle est la météo?" ou "Quel temps fait-il?" -> intention : GET_METEO Selon les moteurs NLU, il faut entrainer son chatbot avec 10 à 200 phrases d'exemple par intention.

Le chatbot peut être connecté aux services métiers pour extraire des informations nécessaires aux réponses. Dans ce cas, l'appel au service métier et la création de la réponse seront programmés et non une tâche réalisée par une intelligence artificielle.

Bien joué !

L'entrainement d'un chatbot consiste à fournir des phrases d'exemples, semblables à celles qu'écriront les utilisateurs, et de les associer à une règle / intention du chatbot. Ex: "Quelle est la météo?" ou "Quel temps fait-il?" -> intention : GET_METEO Selon les moteurs NLU, il faut entrainer son chatbot avec 10 à 200 phrases d'exemple par intention.

Pas tout à fait exact

Malheureusement, le chatbot ne peut pas découvrir et comprendre les données métier disponibles par lui-même. Il peut être connecté aux services métiers pour extraire des informations nécessaires aux réponses. Dans ce cas, l'appel au service métier et la création de la réponse seront programmés et non une tâche réalisée par une intelligence artificielle.

12) L'entrainement d'un chatbot est :

manuel automatique manuel au début, automatique par la suite

Et oui ! L'entrainement d'un chatbot reste quasi-exclusivement manuel !

On parle d'apprentissage supervisé : l'étape d'annotation manuelle est indispensable.

Certaines solutions facilitent la suite de l'entrainement en proposant des formulations générées à partir de dictionnaire de synonymes ou de rajouter des phrases de production pré-annotées. Toutefois elles se basent sur la détection automatique et demande une validation manuelle pour éviter d'ajouter des "faux-positifs" aux phrases d'entrainement.

Des solutions commencent à émerger pour le traitement automatique de sources de données (base de connaissances, catalogue produits, FAQ...). La tendance est à l'expérimentation mais pas (encore) à l'industrialisation de ce type de solutions.

Certaines solutions commencent à émerger pour le traitement automatique de certaines sources de données (base de connaissances, catalogue produits, FAQ...).

Mais attention, nous restons loin du fantasme de l'intelligence artificielle "plug'n'play", à connecter à son système d'informations et qui comprend les données qu'elle manipule. De plus, ces solutions ne s'appliquent qu'à certains types de sources de données ou nécessitent des connecteurs spécifiques pour les API métiers ou les bases de données. La tendance est à l'expérimentation mais pas (encore) à l'industrialisation sur ce type de solutions.

L'apprentissage reste donc quasi-exclusivement manuel ! Certaines solutions facilitent la suite de l'entrainement en proposant des formulations générées à partir de dictionnaire de synonymes ou de rajouter des phrases de production pré-annotées. Toutefois elles se basent sur la détection automatique et demande une validation manuelle pour éviter d'ajouter des "faux-positifs" aux phrases d'entrainement.

Pas tout à fait exact

On parle d'apprentissage supervisé : l'étape d'annotation manuelle est indispensable.

Ce questionnaire vous a été utile? Alors, n'hésitez pas à nous faire un retour ou à laisser un commentaire.

Merci pour votre feedback!

Quels que soient les résultats du quizz, nous vous conseillons fortement de prendre connaissance de nos articles Règles de conversation chatbot et Psychanalyse du Chatbot.