Du bonjour lancé à ses collègues en arrivant au travail, au message envoyé depuis son canapé à un ami pour prendre de ses nouvelles, en passant par la poignée de porte tournée pour rentrer chez soit notre vie de tous les jours est formé par des interactions de toutes sortes. Mais quoi penser de celles-ci lorsqu'elles deviennent de plus en plus tournées vers des interfaces ? Quel rôle jouent alors les produits issus des nouvelles interfaces sur le quotidien ?
Au fil du temps et des avancées technologiques, nos actions quotidiennes se sont transformées.
Si l’objectif à atteindre reste commun, par exemple communiquer avec sa famille ou ses proches, la manière d’y parvenir peut prendre des formes multiples et variées : une lettre, un appel, un message texte ou vocal, un appel vidéo en direct, etc. Autant de façons d’échanger que d’intéractions différentes avec son environnement.
La démocratisation de la technologie, la rendant accessible au plus grand nombre à motivé ce développement des interfaces utilisateur dans notre vie de tous les jours.
Ces interfaces utilisateurs peuvent être identifiées en trois grandes catégories :
Cette évolution ne s’arrête pas au plan technologique et induit aussi de multiples transformations dans le style de conception de l’UI.
L'UI passe du pixel dans les années 1980 au stade analogique en 2000. Ensuite suivi par l'essor du flat design et de la microtexturation en 2013, puis le skeuomorphisme fait un retour fin 2018 dans le design d'interaction 3D. L'interface utilisateur basée sur la modélisation 3D revenir progressivement dans la conception d'interface.
1D - CLI (Command-Line Interface)
Exemple de 2D via les GUI (Graphical User Interface)
Exemple d’interface 3D via les NUI (Natural User Interface)
Au sein de ces changements, les interactions et les interfaces utilisateurs basées sur la vie réelle forment un intérêt grandissant, et s’intègrent progressivement dans nos vies.
En 2011, le cofondateur de Microsoft, évoquait déjà les bénéfices de cette nouvelle génération d'interfaces utilisateurs :
"Until now, we have always had to adapt to the limits of technology and conform the way we work with computers to a set of arbitrary conventions and procedures. With NUI, computing devices will adapt to our needs and preferences for the first time and humans will begin to use technology in whatever way is most comfortable and natural for us."
— Bill Gates, via son blog GatesNotes en Octobre 2011.
Jusqu'à présent, nous avons toujours dû nous adapter aux limites de la technologie et conformer notre façon de travailler avec les ordinateurs à un ensemble de conventions et de procédures arbitraires. Avec les NUI, les appareils informatiques s'adapteront pour la première fois à nos besoins et à nos préférences et les humains commenceront à utiliser la technologie de la manière la plus confortable et la plus naturelle pour nous.
Si la technologie ne définit plus l’expérience, elle devient alors un outil modulable au service de la conception d’expériences utilisateur. Les NUI permettent de cultiver cette nouvelle démarche de réflexion et ouvrent les portes à de nouveaux moyens interagir. Elles nous font entrer par exemple dans l'ère de la réalité augmentée à l'aide des interfaces naturelles basées sur l'espace 3D.
AR - Augmented Reality
VR - Virtual Reality
MR - Mixed Reality
L'innovation technologique liée à ces types d'interfaces se transforme peu à peu jusqu'à se démocratiser et arriver au sein de nos applications et jeux favoris sans même que l'on s'en rende compte, ou qu'on l'identifie comme tel.
Les interfaces utilisateurs naturelles sont plus complexes à définir car elles ne se cantonnent pas à un type de technologie ou même à un type d'interaction. Au contraire interagir avec une NUI peut se faire de multiples façons. Leur point commun : la manière d'interagir se doit d'être définie pour créer une expérience utilisateur naturelle.
Quand nous évoquons le concept d’NUI, il faut en comprendre, que nous parlons d'un utilisateur naturel et non d’une interface naturelle.
C'est-à-dire que l'interface doit servir à atteindre l'objectif de l'utilisateur d'une manière où son interaction et son ressentit vis à vis du produit sont naturelles.
Il faut donc détacher du mot "Natural" dans NUI son évocation au monde réel, car il ne désigne en rien une caractéristique du produit mais désigne plutôt l'expérience vécue par l'utilisateur.
Pour atteindre cette expérience, il faut passer par une période d'apprentissage d'utilisation rapide.
L'utilisateur passe de novice à expert dans un temps très court,
nous pouvons parler aussi d'expertise instantanée qui fait partie des facteurs d'une expérience perçue comme naturelle par l'utilisateur, car il ne fait pas face à un temps d'incompréhension et de frustration face à cette interface jusqu'à lors jamais rencontrée. Pour atteindre cet apprentissage éclair, les NUI privilégient la sollicitation des compétences précédemment acquises par l'utilisateur ou qui font écho à des apprentissages de sa vie. Le design et le fonctionnement global de l'interface sont aussi des facteurs clés dans le guidage de l'utilisateur et la facilitation de cette période de découverte.
Une manière plus concrète d'approcher le concept des NUI peut être illustré par le co-auteur du livre Brave NUI World :
"Content is the interface."
— Daniel Wigdor, professeur agrégé d'informatique à l'Université de Toronto.
Le contenu est l'interface.
Daniel Wigdor induit que les NUI enlèvent l'intermédiaire qui perturbait l'expérience de l'utilisateur, pour interagir directement avec les éléments. Plus besoin des boutons, des souris d'ordinateur, des trackpads, etc. Le contenu est à portée de l'utilisateur, il peut y accéder et le manipuler de manière directe. L'intérêt de cette démarche ? Permettre une expérience moins contrainte par l'interface écran et surtout simplifier et faciliter les différentes tâches à effectuer par les utilisateurs.
Testons notre compréhension de ce qu'est une interaction utilisateur naturelle.
Cas 1 : je parcours des films
Je navigue en cliquant sur les flèches pour afficher les choix suivants / précédents.
Je navigue par gestes de balayage vers la droite ou la gauche avec mes mains.
L’interaction avec une NUI doit être directe.
Même si les flèches sont utilisables pour changer l'affichage, elles représentent un intermédiaire d'interaction pour agir sur le contenu. Au contraire, balayer les images, soit le contenu ici, forme directement l'action, sans besoin d'un agent tiers.
cas 2 : j'effectue une commande vocale
Dans ma voiture sur un parking à l'arrêt, je fais une commande vocale pour lancer un itinéraire sur mon GPS.
Dans un métro bondé, je fais une commande vocale à mon téléphone pour appeler un ami.
Une NUI semble naturelle à utiliser car elle correspond au contexte de l'utilisateur.
Ici le même type d'interaction est utilisé : la commande vocale, cependant le contexte dans lequel l'utilisateur se place varie.
Utiliser une interface utilisateur vocale dans un environnement public qui implique en plus de la proximité avec des individus inconnus, va, par nature attirer les regards et peut potentiellement former une retenue, une gêne pour l'utilisateur, ce qui écarte le ressenti d'une expérience naturelle.
"We act in the world by exploring the opportunities for action that it provides to us."
— Paul Dourish, informaticien connu pour ses recherches qui rassemblent informatique, les sciences sociales et interaction homme-machine.
Nous agissons dans le monde en explorant les possibilités d'action qu'il nous offre.
Après avoir compris que les NUI ne pouvaient pas se résumer à une technologie ou une interaction précise, nous nous sommes attelées à identifier celles qui peuvent faciliter le passage à une expérience utilisateur naturelle. Nous nous sommes posé la question : comment, en tant que personne, interagit-on avec notre environnement ? Comment s'y prend-on pour réaliser des actions simples dans l'espace et le cadre dans lequel on évolue ?
Comme nous l’explique Paul Dourish :
une personne explore son environnement par le biais d’actions, et non pas par une analyse de la situation ou d’une réflexion comme on pourrait le penser.
Elle appuie sur un bouton, pousse un objet, elle fait des essais en agissant dans son espace en explorant ses affordances pour collecter les retours d’informations de ses actions.
Ce bac à sable utilise la réalité augmentée pour analyser sa surface et y projeter une carte topographique correspondante, ajoutant à la simple carte en papier à une troisième dimension palpable avec laquelle les utilisateurs peuvent interagir. Modulable à la main, elle peut être utilisée aussi bien par des géologues, que des professeurs et enfants à fin éducatives.
Utiliser les moyens d'actions et de perception de l'Homme est une manière de susciter et motiver une expérience naturelle entre l'interface et l'utilisateur.
Si mettre au service les sens de l’utilisateur peut être bénéficiaire pour les produits issu des NUI, Bill Buxton nous met en garde :
"Voice, gesture, touch does not necessarily Natural User Interface make."
— Bill Buxton, chercheur chez Microsoft
La voix, le geste, le toucher ne forment pas nécessairement une interface utilisateur naturelle.
En effet, leur utilisation ne représente en rien un garant de l'expérience finale, mais doit faire partie d'un ensemble cohérent. UI, apprentissage, analyse des besoins ou encore contexte d'utilisation, sont aussi des éléments essentiels pour former un vécu d'utilisateur optimal et naturel, et non négatif.
Nous avons pu établir que les interactions sollicitant les outils de perception inhérents à l'Homme : sa vue, sa voix par exemple mais aussi ses expressions faciales, son corps et sa gestuelle peuvent-être un moyen efficace pour un produit ou une interface de créer une une expérience et une interface utilisateur naturelle, mais sous quelles modalités ?
Dans la vie quotidienne les échanges d'informations se font sous différentes formes. Par exemple quand je croise un proche dans la rue il peut se passer plusieurs scénarios, prenons deux cas :
1/ Je le vois de loin, lui dit "bonjour" et lui fait un geste de la main pour accompagner mes mots ;
2/ Je l'approche avec un sourire puis lui fais une accolade.
Si ces deux cas expriment la même intention, ils utilisent cependant plusieurs moyens de perception. Les intentions sont donc "multi-sensorielles", et donnent une plus grande complexité à l'expression d'une simple interaction. En effet, mon regard mon visage, mes gestes peuvent donner une intentions différentes que mes paroles ou même le ton de ma voix.
Aujourd'hui les NUI, en se penchant sur la subtilité des expressions humaines et sociales, commencent à diversifier leurs entrées et sorties d'informations dans un même produit (aussi désignées par I/O : Input/Output). Permettant ainsi de reprendre les codes d'interactions connus de la personne : comment elle perçoit et communique avec son environnement, pour les rendre applicables dans les interfaces et différents produits et s'adapter à l'utilisateur et son contexte d'utilisation.
Ulysse Botello en parle même comme une utilisation des langages de l'utilisateur :
"Aujourd’hui on peut créer des interfaces qui ne demande pas d’efforts côté l’utilisateur, parce qu’on s’appuie sur quelque chose que l’utilisateur connait bien, le langage".
Ulysse Bottello — Lead Design chez The Chatbot Factory
Cette pluralité est désignée par les interactions multimodales.
Si nous revenons aux deux situations précédentes pour les décomposer nous pouvons y voir deux multimodalités différentes, en prenant uniquement en compte l'output de la première personne :
1/ OUTPUT : Parole ("bonjour") + gestuelle (geste de la main) ;
2/ OUTPUT: Expression faciale (sourire) + toucher (accolade)
La multimodalité apporte aux interfaces et aux produits la possibilité de s'adapter de manière plus poussée à l'utilisateur et son contexte et d'être plus proche d'une interaction naturelle entre l'utilisateur et le produit.
Illustrons le principe avec un exemple simple :
Put That There
"Put That There" est un système interactif mit en place au sein du MIT. Il utilise une sortie vocale et visuelle pour échanger et donner un retour d'information à l'utilisateur tandis qu'il repose sur une entrée composée de commandes vocales et gestes simples effectués par l'utilisateur pour identifier puis opérer ses intentions.
Les combinaisons ne sont pas limitées en genre et en nombre. Elles doivent uniquement être utilisée pour développer une expérience plus naturelle avec l'utilisateur, que cela relève de l'interaction en elle même ou plutôt de la relation entre l'objet et l'utilisateur.
Google Home
Output : Visuelle + Sonore
Information et réassurance visuelle par ses voyants colorés : l'appareil est entrain de m'écouter, de traiter les données ou est déconnecté. Toutes les informations ne prennent pas la forme d'une sortie vocale.
Reactable
Input : Gestuelle + Toucher
Output : Visuelle + Sonore
Ajout d'un module et réglages globaux par manipulation des objets physique. Retour privilégié par le produit : visuel pour les paramétrages d'un module et sonore pour le retour sur la création globale de l'utilisateur.
À l'heure des NUI implantés dans notre vie quotidienne, nous passons d'une commande vocale pour demander la météo de demain, à un geste pour éteindre les lumières de sa chambre avant de se coucher. Passer d'une interface à une autre et d'un mode cognitif à un autre est de plus de en plus une réalité. Modifiant de la même manière la place des interfaces dans la vie des utilisateurs.
L'utilisateur est replacé en premier plan et se voit attribuer un nouveau rôle dans ses interactions quotidiennes.