Les interfaces utilisateur naturelles existent sous la forme de dispositifs portables, d'assistants vocaux, de RV, de RA, de murs interactifs, etc. Combinée à la technologie d'immersion, à la reconnaissance vocale et au mouvement, elle a remodelé l'expérience de l'utilisateur, la relation entre les appareils électroniques et les personnes, ainsi que la façon dont nous percevons le monde.
De nombreux produits basés sur des interfaces naturelles ne considèrent plus l'utilisateur comme un exécutant de tâches, mais comme un co-auteur et un participant à l'histoire.
Dans ce processus de co-création, nous donnons aux utilisateurs un cadre 3D qui stimule leur créativité et qui les positionnent comme co-auteurs de cette expérience.
Mur interactif par Ranosquare
Appuyer sur les différents motifs sur le mur pour composer de la musique.
Expérience Moss en VR
Les utilisateurs écrivent leur propre histoire.
Just Go Bigger Nike Air Max 720
Interagir avec les cercles sur l'écran en marchant.
L'interaction naturelle fait passer la scène d'interaction de l'écran à l'espace 3D. Le mode d'interaction s'étend de la souris au doigt et du geste et à la voix ; les émotions de l'utilisateur deviennent plus riches, notamment la curiosité, la surprise, l'excitation, le frisson, le plaisir, etc.
L'interaction naturelle fait passer la scène d'interaction de l'écran à l'espace 3D, le mode d'interaction s'étend de la souris et du doigt au geste et à la voix, et les émotions de l'utilisateur deviennent plus riches, notamment la curiosité, la surprise, l'excitation, le frisson, le plaisir, etc.
Expérience mentale
accent mis sur l'expérience personnelle et émotionnelle ;
Expérience avec son environnement
axée sur les mouvements du corps et la relation entre l'utilisateur et l'environnement ;
Expérience sociale
accent sur l'interaction sociale et l'expérience partagée.
“I hear and I forget, I see and I remember, I do and I understand.”
— Confucius, 551 BC - 489 BC
J'entends et j'oublie, je vois et je me souviens, je fais et je comprends.
Adoption du même type d'interactions dans le monde réel et virtuel
Les interactions deviennent de plus en plus naturelles et spontanées.
Ajouter un filtre au monde réel par AR et XR
Qu'il s'agisse d'un filtre historique qui vous permet de retourner au même endroit 50 ans en arrière, d'un filtre facial qui peut transformer votre visage en visage de bébé, ou encore d'un filtre qui peut prédire votre apparence dans 30 ans, ils agissent tous sur la perception qu'ont les personnes sur les objets, les autres et sur eux-même au delà du monde réel. Ces réalités et virtualités se commencent à se fondre dans la vie quotidienne en y ajoutant une nouvelle couche, un nouveau filtre a prendre en considération.
Entrer dans un monde complètement différent avec la VR
Le sentiment de présence (le sentiment d'y être, d'être sur place) ;
Le sentiment de faire partie de l'histoire ;
Le “sense of agency” (je contrôle mes propres actions de manière volontaire).
E. J. Gibson a fait remarquer que la façon dont nous percevons les choses ne sert qu'à savoir comment nous pouvons agir sur elles. Les NUI sont basées sur la science de la cognition incarnée (ou embodiment) et nous donne la possibilité de définir les limites du monde et de notre corps.
“We do not perceive stimuli or retinal images or sensations or even just things; what we perceive are things that we can eat, or write with, or sit down on, or talk to.”
— E. J. Gibson, 1982
Nous ne percevons pas de stimuli, d'images ou de sensations rétiniennes, ni même de choses tout simplement ; ce que nous percevons, ce sont des choses que nous pouvons manger, ou avec lesquelles nous pouvons écrire, ou sur lesquelles nous pouvons nous asseoir ou avec lesquelles nous pouvons parler.
Par exemple, avec les dispositifs de VR totalement immersifs, les utilisateurs se considèrent comme faisant partie de l'environnement virtuel, tout en considérant que les dispositifs de VR font partie de leur propre corps (Shin, 2017).
Mains virtuelles dans Rec Room
Dans Rec Room, en regardant leur montre, les utilisateurs peuvent ouvrir une boîte à outils et cliquer sur les boutons avec leurs mains virtuelles.
Corps virtuel dans Echo VR
Dans Echo VR, les utilisateurs flottent en apesanteur sous la forme d'un robot dans environnement vide. Les utilisateurs contrôlent la direction en tournant leur corps et leurs bras et peuvent ouvrir une boîte à outils en glissant.
Corps virtuel dans Half + Half
Dans Half + Half, le corps de l'utilisateur prend la forme d'un corps de poulpe et les mains deviennent des tentacules. L'utilisateur perçoit son environnement comme dans l'océan et se rend compte qu'il a besoin de nager en faisant glisser ses bras.
Pendant l'interaction, les actions naturelles telles que toucher, saisir et tenir changeront la perception de l'utilisateur sur ses capacités physiques et son environnement :
Je peux le voir, le toucher, le sentir, l'entendre → alors ça existe.
Je peux l'utiliser, le manipuler → donc je le considère comme un outil que je peux utiliser.
Il y a un surnom pour la réalité virtuelle : "Empathy Machine".
“Stepping outside of one's self in VR can provide enough of a perspective shift that can foundationally change a person's thinking.”
— Thong Nguyen
Sortir de soi-même dans la RV peut former un changement de perspective suffisant pour changer fondamentalement la pensée d'une personne.
Il désigne la capacité de changer l'attitude des personnes sur un point spécifique (le racisme, les personnes âgées, etc.) par le biais d'une expérience immersive et d'une cognition incarnée.
Quand vous êtes le personnage de l'histoire et que vous marchez un kilomètre dans les chaussures d'un autre, vous obtenez une perspective complètement différente.
The key - une expérience VR immersive où les utilisateurs peuvent interagir avec l'histoire, ressentir la situation et les sentiments des réfugiés à travers différents environnements, rêves et défis, afin de découvrir les souvenirs perdus et le sentiment d'être perdu, déboussolé.
Un utilisateur a décrit son ressenti après cette expérience :
“Je ne savais pas que je serais si profondément touché par cette expérience, peut-être que c'est le récit, peut-être que c'est le style graphique, mais c'est certainement le sentiment de perdre quelque chose de si important, de voir des choses précieuses vous être retirées sans rien pouvoir y faire. Ce sentiment d'impuissance et de désespoir est resté gravé dans mon esprit si profondément que je peux encore le ressentir même après 3 semaines.”
Les utilisateurs ne se sentent naturels que lorsque l'interaction correspond à leurs compétences. Lorsque nous aidons les utilisateurs à effectuer des tâches à l'aide de compétences de bases et simples, nous réduisons également leur charge cognitive. Ces compétences de base comprennent : entendre, voir et faire.
Le cerveau humain se souvient de 10 % de ce qu'il lit, 20 % de ce qu'il entend, 90 % de ce qu'il fait.
Il a aussi une capacité importante à s'adapter aux changements d’environnements grâce à la plasticité neuronale. L'exposition à la RA et la RV peut remodeler et modifier notre processus de traitement d’informations. La simulation et la réalisation d’actions via ces technologies nous permettent d'apprendre, de ressentir, de nous souvenir et de traiter de nouvelles idées d'une manière plus expérientielle et plus profonde.
Lorsque nous atteignons la présence en RV (le sentiment d’y être), notre cerveau devient plus précis et plus rapide dans l'encodage des souvenirs.
Une recherche de l'université du Maryland montre qu'il y a une amélioration d'environ 9 % de la précision de la mémoire lorsque l'on apprend par la RV par rapport à une visualisation sur écran plat.
Une étude réalisée par STRIVR montre que les temps de rappel et de réponse sont eux améliorés de 12 %.
"We've discovered that using augmented reality technology can change where you walk, how you turn your head, how well you do on tasks, and how you connect socially with other physical people in the room."
— Jeremy N. Bailenson
Nous avons découvert que l'utilisation de la technologie de la réalité augmentée peut changer la façon dont vous marchez, dont vous tournez la tête, dont vous accomplissez vos tâches et dont vous vous connectez socialement avec les autres personnes physiques présentes dans la pièce.
L'interaction naturelle peut impliquer de nombreux gestes et mouvements du corps, le mouvement des doigts, des membres ou encore sauter et courir.
La proxémie concerne les arrangements spatiaux et les variations de distance. Lorsqu'étudiée entre deux individus elle peut déterminer leur degré d'intimité, en prenant en compte le contexte de la situation (lieu et culture par exemple).
Grâce aux l'interactions sociales, les personnes peuvent établir des relations intimes, personnelles ou publiques, en fonction de s'ils se sentent en sécurité, détendus ou s'ils veulent socialiser.
Les expériences utilisateur 3D sont étroitement liées à l'environnement et à l'interaction sociale, où nous sommes non seulement capables de définir la proxémie entre les personnes, mais aussi la proxémie entre les personnes et leurs appareils.
Les utilisateurs commencent à attacher une personnalité à leurs appareils intelligents ou applications, qu'ils soient fonctionnels ou émotionnels, que ce soit avec l'appareil lui-même ou avec les personnes avec lesquelles ils interagissent à l'aide de l'appareil.
Les personnes établissent des relations intimes grâce à des interactions telles que le toucher et la voix. Par exemple, lorsque vous vous réveillez, travaillez ou même dormez, vous pouvez emmener votre téléphone portable, votre montre connectée et votre bracelet autour de vous et interagir fréquemment avec eux en parcourant ou en enregistrant des informations plutôt personnelles.
Lorsque nous parlons de proxémie, nous parlons aussi de confidentialité. L'espace personnel est d'une importance considérable dans les NUI. La bulle d'espace personnel de BigScreen représente une expérimentation innovante : réussir à créer un espace sensible au niveau social tout en offrant aux utilisateurs une bulle de confidentialité sécurisée.
Les principales modalités d'interaction entre les personnes sont :
la communication (échange), la coopération (individuelle avec un but commun), la coordination (organisation et priorisation) et la collaboration (création partagée).
communication et collaboration
Le partage d'idées ne se limite plus aux photos, vidéos et écrans, nous sommes désormais en mesure de partager à distance des espaces, un environnement et des expériences ensemble.
Spatial crée une expérience qui peut téléporter la présence, partager l'espace de travail et les idées et libérer le corps humain des contraintes géographiques et environnementales.
coordination
Il existe une célèbre citation de Google :
“Google's mission is to organize the world's information and make it universally accessible and useful.”
— Déclaration de la vision d'entreprise de Google
La mission de Google est d'organiser l'information mondiale et de la rendre universellement accessible et utile.
À l'ère de l'information, Google rend accessible l'information principalement à partir d'un navigateur par la recherche. Mais à l'ère spatiale, nous avons besoin d'informations ici et tout de suite, d'où l'arrivée du cloud RA qui permet d'explorer des informations en temps réel et avec des multi-utilisateurs en fonction de l'objet lui-même.
Nous pouvons décrire le cloud AR comme une copie numérique du monde réel, applicable à l'ensemble du monde visible et accessible à tous. Par exemple, l'histoire d'un monument, d'un bâtiment ou même d'un restaurant.
Avec la popularité de la réalité augmentée et de la réalité virtuelle, la frontière entre le monde virtuel et le monde réel s'estompe de plus en plus, et les avatars ont commencé à jouer un rôle important.
Les avatars 3D sont progressivement devenus une version numérique des utilisateurs, et reflètent l'image que les utilisateurs veulent projeter aux autres, leur formant une nouvelle identité.
Spatial
Avatar 3D basé sur l'identité réelle (avatar photoréaliste)
AltspaceVR
Avatar personnalisé avec un style prédéfini
Facebook Spaces
Selfie avec des amis à l'aide d'avatars 3D