SUS : un atout pour évaluer votre produit/service
Vous souhaitez évaluer un produit numérique mais vous ne savez pas par où commencer ?
Aujourd’hui, rendre accessible et tangible les recherches et analyses liées aux décisions produit est devenu nécessaire pour de nombreux designers.
Afin de prendre des décisions éclairées et justifier nos choix auprès des équipes produit, on peut s’appuyer sur des outils d’évaluation de l’utilisabilité.
Mais alors, qu’est-ce qu’un outil d’évaluation de l’utilisabilité et surtout comment et quand l’utiliser ?
Pas de panique, on vous explique tout sur le questionnaire le plus célèbre permettant d’évaluer l’utilisabilité : le SUS.
Le SUS en deux phrases
Le System Usability Scale, aussi appelé SUS, est une échelle d’évaluation de l’utilisabilité perçue (voir la définition dans le bloc “qu’est-ce que le SUS en détail”) d’un produit ou service donnant un score compris entre 0 et 100. Elle est composée de 10 affirmations sur lesquelles les utilisateurs doivent indiquer leur degré d’accord à l’aide d’échelles de Likert1 en 5 points.
Objectif du SUS
Son objectif est de mesurer la perception d’un produit ou un service selon le ressenti des utilisateurs. Il s’appuie sur 3 axes :
L’efficacité : “En tant qu’utilisateur, j'ai réussi à atteindre mon objectif (exemple : réserver un hôtel, commander un repas, trouver un article en magasin…)”
L’efficience : “... le plus facilement, rapidement, intuitivement possible…(exemple : en quelques clics, sans erreurs…”
La satisfaction liée à l’interaction : “... tout cela de manière agréable et avec confort. (exemple : sans frustration, en laissant une bonne impression…)”
Le SUS plus en détail
Le SUS fait partie de la famille des questionnaires “standardisés”.
Vous avez dit questionnaires standardisés ? 🧐
Il s’agit d’un type de questionnaire sur lequel de nombreux chercheurs se sont penchés. Leur caractère standardisé en font des outils considérés comme fiables scientifiquement.
En standardisant un certain nombre de paramètres tels que l’ordre et la longueur des questions par exemple, et en vérifiant la stabilité des résultats auprès de nombreux échantillons, ces questionnaires ont pour objectif de limiter les biais.
Ils ont un mode d’emploi strict et propre à chacun d’eux pour garantir la fiabilité des résultats.
Encore aujourd’hui, le SUS est l’un des questionnaires d’utilisabilité les plus célèbres et utilisés dans le monde. Créé par John Brooke en 1986 Il s’agit d’un questionnaire ayant pour but de recueillir l’opinion des utilisateurs sur la facilité d’usage d’un produit.
Il se compose de dix affirmations sur lesquelles l’utilisateur vient se positionner sur une échelle de Likert1 en 5 points de «1- Pas du tout d’accord » à « 5- Tout à fait d’accord ».
L’objectif est de recueillir des informations sur :
l’opinion général du système,
sa capacité à satisfaire les attentes des utilisateurs,
sa facilité d’utilisation,
l’appétence de l’utilisateur à utiliser le système.
Il présente également l’avantage de se baser sur les éléments de la norme ISO 241-11 sur l’utilisabilité tout en étant facile à administrer.
Mais qu'est-ce que l'utilisabilité ?
D’après la norme ISO 9241-11, l’utilisabilité est « le degré selon lequel un produit peut être utilisé par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié ».
Quand utiliser le SUS ?
- soit pour mesurer l’utilisabilité perçue à un moment précis, de manière ponctuelle, pour faire état d’une situation.
- soit de manière itérative en comparant l’évolution de ce score durant tout le cycle de vie du produit/service dans un objectif d’amélioration continue.
En effet, plus la conception du produit avance, plus elle est censée améliorer la satisfaction des utilisateurs. Un bon score SUS est alors un score qui augmente au fur et à mesure de l’avancement du cycle de vie du produit/service.
Maintenant que vous en savez un peu plus sur le SUS, vous vous posez sûrement la question de l’analyse de celui-ci.
Analyse
Comment calculer le score du SUS ?
Le SUS se repose sur un système de calcul bien particulier qui se déroule en 4 temps :
Pour les items2 impairs : il faut soustraire un point au score brut coché par l’utilisateur. Dans notre cas ci-dessous, l’utilisateur à coché le 4 sur le premier item. Il faut donc calculer 4 - 1 = 3
Pour les items2 pairs : il faut calculer cinq moins le score brut coché par l’utilisateur. Ici, l’utilisateur à coché le 2 sur le deuxième item. Il faut donc calculer 5 - 2 = 3
Il faut ensuite faire la somme des dix scores calculés. Dans cet exemple, la somme de ces scores fait 32.
Il faut ensuite multiplier la somme obtenue par 2,5. On obtient ainsi un score total compris entre 0 et 100. Ici, 32 x 2,5 = 80.
Il suffit ensuite de faire la moyenne des scores de tous les utilisateurs.
Comment interpréter mon score ?
Une étude a confronté plusieurs centaines d’utilisateurs au SUS afin d’établir cette échelle d’interprétation de référence (Bangor, Kortum & Miller, 2008) ci-dessous.
Reporter son score sur cette échelle est la première manière de l’interpréter.
Échelle d’interprétation de référence (Bangor, Kartum & Miller, 2008)
Si l’on souhaite mener une étude plus approfondie, vous pouvez également essayer de comprendre ce qui se cache derrière le score global sur 100. Généralement, 2 produits avec des scores identiques n’ont pas forcément les mêmes forces et faiblesses.
Chez OCTO, nous avons souhaité comprendre en détail ce score en le décomposant en 4 axes pour identifier plus précisément les opportunités d’amélioration. Ci-dessous les définitions et les calculs.
Adoption : les utilisateurs utilisent ou pensent utiliser cet outil à l’avenir. Calculer la moyenne de l'item positif 1 Formule excel =MOYENNE(item 1)
Simplicité : L’outil est jugé simple ou complexe par les utilisateurs. Calculer la moyenne inversée des items négatifs (item 2 et 6) Formule excel =SOMME(6)-(MOYENNE(item 2)+MOYENNE(item 6))/2
Intuitivité : Il est jugé intuitif, facile à prendre en main. Le calcul se passe en trois étapes. 1) Calculer la moyenne (M1) des items positifs (item 3, 5 et 7) Formule excel =MOYENNE(item3;item5;item7)
2) Calculer la moyenne inversée (M2) des items négatifs (item 4, 8 et 10) Formule excel =(SOMME(6)-MOYENNE(item4;item8;item10))
3) La dernière étape est de faire la moyenne des deux types d'items Formule excel =SOMME(M1+M2)/2
Confiance : Le niveau de confiance porté par les utilisateurs à l’outil. Calculer la moyenne de l'item positif 9 Formule excel =MOYENNE(item 9)
Exemple d’un score moyen de 79,12/100 et de ses axes de compréhension
Dans ce cas précis, 17 utilisateurs ont répondu au SUS pour un score moyen de 79,12 sur un outil métier. Malgré un score moyen plutôt bon, on remarque que la confiance octroyée à l’outil est inférieure aux autres axes. L’étape suivante est de comprendre d’où vient le manque de confiance envers l’outil (données incomplètes, effet black box, sécurité…).
Nous avons défini ces axes après avoir analysé sémantiquement chaque affirmation pour en déterminer des thématiques. Cette répartition n’a pas été présentée à un comité linguistique et autres étapes de validation, elle n’est donc pas scientifiquement valide. Vous pouvez proposer votre propre interprétation.
Conclusion
Si vous ne connaissez pas cet outil de mesure, on ne peut que vous conseiller de le tester !
Il s’agit d’un outil précieux pour améliorer les produits en fournissant des informations claires et détaillées sur la satisfaction des utilisateurs. Les données recueillies peuvent aider les équipes à identifier les faiblesses du produit et à les corriger rapidement.
Il n’est pas seulement un indicateur tangible, il est également un outil de pilotage essentiel pour mesurer et suivre l'évolution de l'expérience utilisateur à grande échelle. Il peut aider les entreprises à prendre des décisions éclairées et à améliorer leurs produits pour répondre aux besoins des utilisateurs. En somme, le SUS est un outil clé pour garantir la satisfaction des utilisateurs et améliorer l'efficacité des produits.
Et vous que pensez-vous du SUS ?
Glossaire
1Échelle de Likert : il s’agit des échelles de scores sur lesquelles vos participants doivent se positionner. Elles permettent de limiter certains biais et notamment la variabilité inter-individuelle.
2 Items : Un item désigne généralement l'énoncé d'une question ou un élément utilisé dans le questionnaire. Dans le cadre du SUS, les items font références aux 10 affirmations.