C'est quoi une interface homme-machine naturelle (NUI) ?

Pour expliquer ce qu'est une interface homme-machine naturelle
(NUI pour Natural User Interface), Bill Buxton (Microsoft Research) a fait cette vidéo.
Il illustre sa vision avec différents dispositifs de petites tailles (type smartphone) sur lesquels une interface "humano-compatible" est vraiment difficile à réaliser.
La conclusion (vers 7 min) est particulièrement intéressante. Il explique en gros qu'il n'est pas question de geste, de parole, de téléphone, mais de communication humaine, une communication qui intègre l'utilisateur (seamless) et réduit la complexité perçue au prix d'une complexité réelle qui associe plein de technologies (réseau de capteurs, informatique omniprésente).
C'est en suivant cette approche que les objets numériques pourront être utilisés de façon transparente et qu'ils pourront améliorer notre style de vie.

J'en tire personnellement l'enseignement qu'une interface utilisateur naturelle (IUN ou NUI) est une forme de communication sociale médiatisée par de grandes technologies numériques.

Interview de Bill Buxton en français dans le texte

Bill Buxton, précurseur des dispositifs tactiles et expert en design d'interaction, s'exprime dans RSLN (Regards sur le numérique", une publication de Microsoft).
Bill développe toujours les mêmes idées intéressantes et s'appuie ici sur des exemples précis.
L'article est en français, donc très accessible (pour les francophones).
source RSLN

Je reproduis ci-dessous un extrait qui me semble significatif sur les technologies tactiles :
"Comme toute technologie, je pense que l’interface tactile est particulièrement adaptée à certains usages, et absolument pas à d’autres. Aussi importante soit-elle, je pense qu’elle a été sur-adoptée. Aujourd’hui, on trouve même des écrans tactiles sur certains tableaux de bord de voitures par exemple.
Du coup, vous devez quitter la route des yeux quand vous voulez changer de station de radio par exemple, alors que les bons vieux boutons de votre autoradio vous permettent de le faire en tâtonnant et en restant concentré sur la route.
Dans ce cas, l’écran tactile est même dangereux et devrait être interdit. Les interfaces tactiles sont naturelles dans certains contextes. Aucune technologie n’est naturelle en elle-même. C’est là qu’il y a eu confusion…

J'extrais également ce passage sur la notion d'interaction naturelle :
À la naissance, vous pouvez entendre, voir, mais pas très bien, vous pouvez crier, manger, faire vos besoins, et c’est à peu près tout. Mais il y a une autre chose avec laquelle chaque individu naît : la capacité à apprendre et à acquérir les compétences adaptées au monde dans lequel il vit.
Si vous vivez dans l’Arctique, vous avez des compétences différentes d’une personne qui vit dans la jungle. Notre travail de designer consiste alors à concevoir des interactions qui correspondent à ces compétences. Pour moi, la technologie, c’est comme un miroir. Pour qu’elle soit naturelle, il faut qu’elle soit un reflet parfait de son utilisateur. Elle doit être un miroir de ses capacités motrices et sensorielles, cognitives, sociales, mais aussi émotionnelles.

Magasin d'applications en ligne pour table interactive

Les tables interactives vont-elles sortir de l'enfance ?
Après les prototypes sortis des laboratoires, puis les premiers produits de grands acteurs de l'électronique et de l'informatique (Mitsubishi, Microsoft, Philips...), de multiples acteurs sont apparus, y compris en France.
Une nouvelle étape commence avec la création de magasins d'applications en ligne (online application stores).
Ces magasins permettent de se rendre compte des secteurs d'applications et des applications réellement existants aujourd'hui.

Vous pouvez aller sur le magasin de After Mouse. Vous verrez des vraies applications pour la table Surface (1.0 ou 2.0).
Les secteurs visés sont principalement : la restauration, l'hôtellerie, les lieux d'exposition, les salles d'attentes, les agences immobilières, l'information cartographique, le partage en temps réel de documents de travail et, bien sûr, les jeux.
Comme sur les autres app stores, les jeux représentent une bonne partie des applications.
Je me pose tout de même une question. Peut-on transposer un modèle qui marche très bien pour les ordiphones ou les ardoises, c'est à dire l'achat de jeux pour quelques euros sur un matériel qui en coûte quelques centaines, aux tables interactives ? Dans ce dernier cas, le matériel coûte près de 10 000 € et les jeux sont proposés actuellement à 500 €.

Je parie que ce sera difficile de vendre à 500 € une applca-tion pour jouer à 2 au Tic Tac Toe sur une table.

Avec l'arrivée de la Surface 2.0, il faudrait plutôt se concentrer sur des applications sérieuses et séduisantes, les vendre en ligne et offrir les jeux basiques, mais ce n'est pas de ces jeux qu'il faut attendre l'essor des tables interactives.

Touch wall party à Paris

Uniqlo organisait dans son flagship parisien une touch wall party les 27 et 28 mai (et recommence les 3 et 4 juin).
Cet événement marquait la nouvelle collection UTGP (comprenez Uniqlo T-shirt Grand Prix).
Le thème était Mickey.
Pour faire du buzz, rien de tel qu'un grand mur multitactile avec une application de dessin.

L'appli fonctionne comme Paint avec plusieurs palettes d'outils (couleur, texture, traits...). Avec vos doigts ou n'importe quel objet (un bout de carton, un gros stylo...), vous faites de grands gestes à deux mains.
L'appli est classique, seules les textures sont spécifiques et tournent autour de l'univers de Mickey.
Le système a été installé par muchomédia. Comme matériel, on trouve une caméra infra rouge, un vidéoprojecteur et un écran 95'' (près de 2m50 de diagonale).
Tout ça marche très bien, une fois qu'on a réglé les problèmes de lumière parasite qui perturbe le capteur infrarouge, avec tous les spots du magasin, ce n'est pas si simple.
En 2 minutes, j'ai fait mon oeuvre.

Les plus originales (pas la mienne) sont visibles sur la chaîne TV d'Uniqlo et sur facebook. La meilleure création gagnera un prix de 200€ (seulement).
Vous avez encore une chance de gagner les 3 et 4 juin.

Vagues de tablettes à l'horizon

Le PC a mis plusieurs décennies pour pénétrer dans les foyers.
Sorti en 1981, le taux d'équi-pement, en France, était seulement, 15 ans plus tard, de 15%, à l'entrée du XXIe siècle, il équipait juste un tiers des foyers et ce n'est qu'en 2005 que le PC était présent dans la moitié.
Le taux d'équipementl atteint actuellement 2/3 et pas sûr qu'il aille plus haut.
Ces chiffres montrent bien que le PC n'est pas vraiment indispensable à la maison.
Ce n'est qu'avec l'arrivée d'Internet dans les foyers, surtout du haut débit, que le PC a réussi à trouver sa place à la maison.
En 2010 (dernier chiffre connu), presque tous les PC domestiques étaient connectés. Il n'y aurait que 3% des foyers qui ont un PC sans Internet, preuve qu'un PC n'a d'intérêt que connecté et que cette machine d'un autre siècle, n'a en lui même qu'un bien faible pouvoir de séduction.

On note déjà en 2011, une baisse de la demande, très marquée sur les netbooks (miniportables), sensible sur les desktops (non prtables), mais qui touche également les laptops (portables).
A qui la faute de ce déclin ?

A l'ardoise magique bien sûr, à la tablette tactile si vous préférez, on pourrait même dire à cause de l'iPad, tant ce modèle domine actuellement le marché.

Les prévisions de ventes de tablettes en 2011 varient entre 30 et 100 millions. Certaines études annoncent d'en vendre plus de 200 millions en 2014 ou encore 250 millions en 2015.
Il faut bien sûr ne pas croire aveuglément ces chiffres. En 2010, les cabinets spécialisés prévoyaient la vente de 4 millions d'iPad alors qu'elle a dépassée les 15 millions (sur 9 mois).

Ce déferlement de tablettes est prévu en 3 phases, la première (2010-2011), c'est la vague iPad (95% du marché) ; la 2e vague (2011-2012), ce sont des iPad killers essentiellement sous Android ; la 3e vague (2013...), ce sont des tablettes sous Windows.
Sûr qu'avec ces 3 vagues, on sera submergé par un flots de tablettes plus séduisantes les unes que les autres.

Je pense que le succès des tablettes sera dû au fait que de plus en plus de personnes se rendront compte que pour faire tout un tas de choses, un PC n'est pas utile.
Pendant des années, il était indispensable parce qu'il n'y avait pas d'autre choix.
Franchement, est-ce admissible de se payer 3 minutes de démarrage, une interface complexe et plein de bugs inopinés pour surfer sur le net, écouter de la musique, regarder ses photos, jouer ou même écrire une lettre.
Pour être honnête, il faudrait ajouter tout le temps perdu à essayer de maintenir son PC en bon état de fonctionnement (mise à jour, déverminage, sauvegarde...).


De plus en plus de personnes vont trouver qu'avec ces tablettes, il est bien plus facile, d'effectuer ses tâches préférées.

En 1990, Don Norman écrivait "The real problem with interface is that it is an interface. Interfaces get in the way. I don't want to focus my energies on interface. I want to focus on the job".
Pour parodier Norman, je dirais que le problème du PC, c'est qu'il n'est pas vraiment la solution pour faire ce que je veux faire, mais souvent un obstacle. Il me demande bien trop d'effort. Ce que je veux, c'est faire les choses simplement.

Le succès de la tablette tient en grande partie à ce qu'elle permet de faire ce qu'on veut vraiment faire plus simplement.

Le présent est toujours invisible (McLuhan)

Chacun peut constater la généralisation des écrans tactiles qui se sont tellement banalisés qu'aujourd'hui notre premier réflexe face à un écran est de mettre nos doigts dessus.
Mais à quand remonte l'invention de l'écran tactile ?

Ravi Sawhney qui travaillait, dans son jeune temps, à Xerox PARC écrivait le 23 mars 2011 dans fascodesign qu'il avait participé à son invention en 1979 en développant un ordinateur à écran tactile de 5"x7" et 16" de profondeur (13x18x40 cm).

Bill Buxton a immédiatement posté un commentaire pour contester cette date et faire remonter la naissance de l'écran tactile à 1972, soit 7 ans plus tôt et près de 10 ans avant la naissance du PC.


Il écrit : "The first touch screen that got traction was invented in 1972 by F.A. Ebling, R.L. Johnson & R.S. Goldhor at the University of Illinois".


Cet écran tactile équipait la quatrième généra-tion de l'ordina-teur Plato, le Plato IV.
Il faut savoir que les Plato étaient initialement des ordinateurs éducatifs pour les étudiants de l'université de l'Illinois. Le Plato IV avait un écran plasma orange d'une résolution 512x512 en bitmap et de 60 lignes de 180 colonnes en mode caractères. Les étudiants répondaient aux tests en touchant l'écran, la position du doigt était détectée par une grille 16x16 de récepteurs infrarouge autour de l'écran.

Ce qu'il faut retenir dans l'histoire que rapporte Ravi Sawhney, c'est qu'on ne perçoit jamais l'avenir d'une invention. Il déclare "I didn't realize that he was in the middle of a technological revolution... I truly couldn’t believe what I was seeing, and at the same time, I couldn’t fully comprehend how significant these devices would later prove in our daily lives".
Il illustre parfaitement ce que prophétisait Marshall McLuhan "le présent est invisible", je rajouterai même "l'avenir est imprévisible".
A l'époque pour Ravi, il s'agissait de créer des boutons qui affichaient de l'information, il n'a jamais imaginé qu'il travaillait à l'émergence des interfaces graphiques (GUI) et encore moins à la naissance de l'interaction tactile.
Ravi était totalement concentré sur des problèmes technologiques et n'imaginait nullement l'intérêt de l'interaction tactile. Plus édifiant, Xerox poursuivait son rêve d'une gestion de documents parfaite (éditique) sans s'apercevoir qu'il n'y avait aucune demande pour un tel projet.
La leçon que tire Ravi est que les prouesses technologiques importent moins que de comprendre les aspirations des consommateurs. En 1979, on recommandait de ne pas mettre ses pattes sur les écrans, en particulier la télévision, les consommateurs ne risquaient donc pas d'être séduits par un écran tactile.
Pour Ravi Sawhney, Apple est l'exemple à suivre car c'est la compagnie qui perçoit le mieux les futures demandes des utilisateurs.

Bill Buxton dans son commen-taire revient sur sa "théorie" du long nez de l'innovation (the long nose). La souris, inventée en 1964, a mis 30 ans à se généraliser sur nos PC et l'écran tactile, inventé en 1972, a mis encore plus longtemps pour connaître la gloire, 35 ans, avec l'essor des ordiphones tactiles en 2007 et des ardoises numériques en 2010.

Comme dit Bill Buxton : " the path to the future is deeply rooted in the past - the too-often unappreciated past, whose potential is sitting their waiting to be picked up and run with. With great technique, great design, great business chops, and great timing"

En français : "le chemin de l'avenir est profondément enraciné dans le passé - le passé est trop souvent méconnu, tout un potentiel existe qui n'attend qu'à être bien exploité en recourant à une bonne technique, un superbe design, un bon plan d'affaires et un bon timing".

To touch or not to touch: that is the question

Les principales entreprises des TIC (Microsoft, Apple, Samsung, Siemens...) imaginent nos futurs environnements peuplés de produits tactiles. Pour les 10 ans à venir, ils voient partout des écrans, des tables, des murs, des bornes, des téléphones tactiles.
J'utilise un nom pour caractériser cette tendance, je parle de tactilisation. Peu de produits interactifs y échappent.
Il ne faudrait pas que cette vague de fond cache une autre tendance de l'interaction, à la fois proche et conceptuellement opposée.
Proche, car il s'agit toujours de contrôler nos systèmes avec les mains, opposée car il n'est plus question de toucher mais d'agir à distance.
D'un côté, c'est du touch interaction, de l'autre du touch free.

Dans la vie courante, il est assez rare que le plus efficace soit de toucher les choses pour les contrôler, soit on est trop loin, soit on a les mains sales, mouillés, gantés...

Par ailleurs, toucher l'écran est, en termes de comman-des, bien pauvre, même si l'interaction multitactile permet d'enrichir la palette des commandes (zoom, défilement, rotation...).

eyeSight illustre, dans cette vidéo, (1min 40) l'apport d'une interaction touch free, une interaction gestuelle simple sans contact.

L'avenir sera probablement divers, selon le contexte, selon le système, il faudra choisir entre tactilisation ou gesticultaion.
Pour le concepteur To touch or not to touch: that is the question.