Interface utilisateur tangible

Une interface utilisateur tangible ( TUI ) est une interface utilisateur dans laquelle une personne interagit avec des informations numériques via l' environnement physique . Le nom initial était Graspable User Interface, qui n'est plus utilisé. Le but du développement de TUI est de favoriser la collaboration, l'apprentissage et la conception en donnant des formes physiques aux informations numériques, tirant ainsi parti de la capacité humaine à saisir et à manipuler des objets et des matériaux physiques.

Ce langage a été conçu par Radia Perlman comme un nouveau langage de programmation qui permettrait d'enseigner aux enfants beaucoup plus jeunes un langage similaire à Logo, mais utilisant des « claviers » et des périphériques d'entrée spéciaux. Hiroshi Ishii , professeur au MIT et directeur du Tangible Media Group au MIT Media Lab , est un autre pionnier des interfaces utilisateur tangibles . Sa vision particulière des interfaces utilisateur tangibles, appelées Tangible Bits , consiste à donner une forme physique aux informations numériques, en rendant les bits directement manipulables et perceptibles. Les bits tangibles visent à établir un couplage transparent entre les objets physiques et les données virtuelles.

Il existe plusieurs cadres décrivant les caractéristiques clés des interfaces utilisateur tangibles. Brygg Ullmer et Hiroshi Ishii décrivent six caractéristiques concernant la représentation et le contrôle :

1. Les représentations physiques sont couplées informatiquement aux informations numériques sous-jacentes.
2. Les représentations physiques incarnent des mécanismes de contrôle interactif.
3. Les représentations physiques sont couplées perceptuellement à des représentations numériques médiatisées activement.
4. L'état physique des objets tangibles incarne les aspects clés de l'état numérique d'un système

Eva Hornecker et Jacob Buur décrivent un cadre structuré avec quatre thèmes :

1. Manipulation tangible : représentations matérielles dotées de qualités tactiles distinctes, qui sont généralement manipulées physiquement. Un exemple typique est la manipulation haptique directe : l'utilisateur peut-il saisir, sentir et déplacer des éléments importants dans l'interface ?
2. Interaction spatiale : l'interaction tangible est intégrée dans l'espace réel ; l'interaction se produit sous forme de mouvement dans cet espace. L'interaction avec tout le corps en est un exemple : l'utilisateur peut-il utiliser tout son corps ?
3. Facilitation incarnée : la configuration des objets matériels et de l'espace affecte la manière dont les utilisateurs multiples interagissent conjointement avec l'interface utilisateur tangible. On peut citer comme exemples les points d'accès multiples : tous les utilisateurs présents dans l'espace peuvent-ils voir ce qui se passe et interagir avec les éléments centraux de l'interface ?
4. Représentation expressive : expressivité et lisibilité des représentations matérielles et numériques employées par les systèmes d'interaction tangibles. La signification représentationnelle en est un exemple : les représentations physiques et numériques ont-elles la même force et la même importance ?

Selon Mi Jeong Kim et Mary Lou Maher, les cinq propriétés fondamentales qui définissent les interfaces utilisateur tangibles sont les suivantes :

1. Multiplexage spatial en entrée et en sortie.
2. Accès et manipulation simultanés des composants d'interface.
3. Dispositifs spécifiques puissants.
4. Dispositifs informatiques à conscience spatiale.
5. Reconfigurabilité spatiale des appareils.

Une interface utilisateur tangible doit être différenciée d'une interface utilisateur graphique (GUI). Une GUI n'existe que dans le monde numérique, alors qu'une TUI relie le monde numérique au monde physique. Par exemple, un écran affiche les informations numériques, alors qu'une souris nous permet d'interagir directement avec ces informations numériques. Une interface utilisateur tangible représente l'entrée directement dans le monde physique et rend les informations numériques directement compréhensibles.

En raison de la faible gamme de domaines d'application possibles, une interface utilisateur tangible est généralement conçue pour un groupe cible spécifique. Par conséquent, la conception de l'interface doit être développée en collaboration avec le groupe cible pour garantir une bonne expérience utilisateur.

Par rapport à une TUI, une GUI a une large gamme d'utilisations dans une seule interface. De ce fait, elle cible un large groupe d'utilisateurs potentiels.

L'un des avantages de l'interface utilisateur tactile est l'expérience utilisateur, car il se produit une interaction physique entre l'utilisateur et l'interface elle-même (par exemple : SandScape : Construire son propre paysage avec du sable). Un autre avantage est la facilité d'utilisation, car l'utilisateur sait intuitivement comment utiliser l'interface en connaissant la fonction de l'objet physique. Ainsi, l'utilisateur n'a pas besoin d'apprendre la fonctionnalité. C'est pourquoi l'interface utilisateur tactile est souvent utilisée pour rendre la technologie plus accessible aux personnes âgées.

Un exemple simple d'interface utilisateur tangible est la souris d'ordinateur : en faisant glisser la souris sur une surface plane, un pointeur se déplace en conséquence sur l'écran. Il existe une relation très claire entre les comportements affichés par un système et les mouvements d'une souris. Voici d'autres exemples :

• Répondeur à billes de Durrell Bishop (1992). Une bille représente un message unique laissé sur le répondeur . En déposant une bille dans un plat, le message associé est lu ou l'appelant est rappelé.
• Le système Topobo . Les blocs de Topobo sont comme des blocs LEGO qui peuvent être assemblés, mais qui peuvent également se déplacer seuls grâce à des composants motorisés. Une personne peut pousser, tirer et faire tourner ces blocs, et les blocs peuvent mémoriser ces mouvements et les rejouer.
• Des implémentations qui permettent à l'utilisateur de dessiner une image sur la table du système avec un véritable stylo tangible. En utilisant des gestes de la main, l'utilisateur peut cloner l'image et l'étirer sur les axes X et Y comme il le ferait dans un programme de dessin. Ce système intégrerait une caméra vidéo avec un système de reconnaissance des gestes .
• jive . La mise en œuvre d'une interface utilisateur tactile a contribué à rendre ce produit plus accessible aux utilisateurs âgés du produit. Les passes « amis » peuvent également être utilisées pour activer différentes interactions avec le produit.
• un modèle augmenté par projection .
• SandScape : Concevoir un paysage avec TUI. Cette interface permet à l'utilisateur de former un paysage à partir de sable sur une table. Le modèle de sable représente le terrain, qui est projeté sur la surface. En temps réel, le modèle projette les déformations du sable.

Plusieurs approches ont été mises en œuvre pour établir un middleware générique pour les TUI. Elles visent l'indépendance des domaines d'application ainsi que la flexibilité en termes de technologie de capteur déployée. Par exemple, Siftables fournit une plate-forme d'application dans laquelle de petits écrans sensibles aux gestes agissent ensemble pour former une interface homme-machine.

Pour la prise en charge de la collaboration, les TUI doivent permettre la distribution spatiale, les activités asynchrones et la modification dynamique de l'infrastructure TUI, pour ne citer que les plus importantes. Cette approche présente un cadre basé sur le concept d'espace de tuple LINDA pour répondre à ces exigences. Le cadre TUIpist implémenté déploie une technologie de capteur arbitraire pour tout type d'application et d'actionneurs dans des environnements distribués.

L'intérêt pour les interfaces utilisateur tangibles (TUI) n'a cessé de croître depuis les années 1990 et, chaque année, de plus en plus de systèmes tangibles apparaissent. Un livre blanc de 2017 décrit l'évolution des TUI pour les expériences de table tactile et ouvre de nouvelles possibilités d'expérimentation et de développement.

En 1999, Gary Zalewski a breveté un système de blocs mobiles pour enfants contenant des capteurs et des écrans pour enseigner l'orthographe et la composition des phrases.

Tangible Engine est une application de création propriétaire utilisée pour créer des interfaces de reconnaissance d'objets pour les tables tactiles à capacité projetée. Le Tangible Engine Media Creator permet aux utilisateurs ayant peu ou pas d'expérience en codage de créer rapidement des expériences basées sur l'interface utilisateur tactile.

Le MIT Tangible Media Group, dirigé par Hiroshi Ishi, développe et expérimente en permanence des TUI, notamment de nombreuses applications de table.

Le système Urp et le système plus avancé Augmented Urban Planning Workbench permettent des simulations numériques du flux d'air, des ombres, des reflets et d'autres données basées sur les positions et les orientations des modèles physiques de bâtiments, sur la surface de la table.

Les développements les plus récents vont encore plus loin et intègrent la troisième dimension en permettant à l'utilisateur de former des paysages avec de l'argile (Illuminating Clay ) ou du sable (Sand Scape ). Là encore, différentes simulations permettent d'analyser les ombres, les cartes de hauteur, les pentes et d'autres caractéristiques des masses terrestres formables de manière interactive.

InfrActables est une table collaborative à rétroprojection qui permet l'interaction en utilisant des interfaces utilisateur graphiques intégrant la reconnaissance d'état. L'ajout de différents boutons aux interfaces utilisateur graphiques permet d'activer des fonctions supplémentaires associées aux interfaces utilisateur graphiques. Les versions plus récentes de la technologie peuvent même être intégrées dans des écrans LCD en utilisant des capteurs infrarouges derrière la matrice LCD.

Tangible Disaster permet à l'utilisateur d'analyser les mesures de catastrophe et de simuler différents types de catastrophes (incendie, inondation, tsunami, etc.) et des scénarios d'évacuation lors de séances de planification collaborative. Les objets physiques permettent de positionner les catastrophes en les plaçant sur la carte interactive et en réglant en plus les paramètres (c'est-à-dire l'échelle) à l'aide de cadrans qui leur sont attachés.

Le potentiel commercial des TUI a été identifié récemment. Reactable , un instrument de table interactif et tangible maintes fois récompensé, est désormais distribué commercialement par Reactable Systems, une société dérivée de l'Université Pompeu Fabra, où il a été développé. Avec Reactable, les utilisateurs peuvent configurer leur propre instrument de manière interactive, en plaçant physiquement différents objets (représentant des oscillateurs, des filtres, des modulateurs...) et les paramétrer en les faisant tourner et en utilisant la saisie tactile.

Depuis 2009 , Microsoft distribue sa nouvelle plateforme Windows Microsoft Surface (désormais Microsoft PixelSense). Outre le suivi multi-touch des doigts, la plateforme prend en charge la reconnaissance d'objets physiques par leurs empreintes. Plusieurs applications, principalement destinées à l'utilisation dans l'espace commercial, ont été présentées. Les exemples vont de la conception d'une mise en page graphique individuelle pour un snowboard ou un skateboard à l'étude des détails d'un vin dans un restaurant en le plaçant sur la table et en naviguant dans les menus via une entrée tactile. Des interactions telles que la navigation collaborative de photographies à partir d'un appareil photo ou d'un téléphone portable qui se connecte de manière transparente une fois placé sur la table sont également prises en charge.

Une autre installation interactive remarquable est Instant City qui combine le jeu, la musique, l'architecture et les aspects collaboratifs. Elle permet à l'utilisateur de construire des structures tridimensionnelles et de mettre en place une ville avec des blocs de construction rectangulaires, ce qui donne lieu simultanément à l'assemblage interactif de fragments musicaux de différents compositeurs.

Le développement de Reactable et la publication ultérieure de sa technologie de suivi reacTIVision sous la licence GNU/GPL ainsi que les spécifications ouvertes du protocole TUIO ont déclenché un nombre énorme de développements basés sur cette technologie.

Au cours des dernières années, de nombreux projets amateurs et semi-professionnels en dehors du monde universitaire et commercial ont été lancés. Grâce aux technologies de suivi open source (reacTIVision ) et à la puissance de calcul toujours croissante à la disposition des consommateurs finaux, l'infrastructure requise est désormais accessible à presque tout le monde. Un PC standard, une webcam et un peu de travail manuel permettent aux individus de mettre en place des systèmes tangibles avec un minimum de programmation et d'effort matériel. Cela ouvre la voie à de nouvelles façons de percevoir l'interaction homme-machine et permet au public d'expérimenter de nouvelles formes de créativité.

Il est difficile de suivre et de négliger le nombre croissant de tous ces systèmes et outils, mais alors que beaucoup d’entre eux semblent seulement utiliser les technologies disponibles et se limitent à des expériences et des tests initiaux avec quelques idées de base ou se contentent de reproduire des systèmes existants, quelques-uns d’entre eux s’ouvrent à de nouvelles interfaces et interactions et sont déployés dans l’espace public ou intégrés dans des installations artistiques.

Le Tangible Factory Planning est un tableau tangible basé sur reacTIVision qui permet de planifier et de visualiser de manière collaborative les processus de production en combinaison avec les plans de nouveaux bâtiments d'usine et a été développé dans le cadre d'une thèse de diplôme.

Un autre exemple des nombreuses tables basées sur reacTIVision est la table interactive ImpulsBauhaus , exposée à l'université Bauhaus de Weimar à l'occasion du 90e anniversaire de la création du Bauhaus. Les visiteurs pouvaient parcourir et explorer les biographies, les relations complexes et les réseaux sociaux entre les membres du mouvement.

En utilisant des principes dérivés de la cognition incarnée , de la théorie de la charge cognitive et de la conception incarnée , les TUI ont montré qu'elles augmentaient les performances d'apprentissage en offrant un retour d'information multimodal. Cependant, ces avantages pour l'apprentissage nécessitent des formes de conception d'interaction qui laissent autant de capacité cognitive que possible pour l'apprentissage.

Une icône physique , ou phicon , est l'équivalent informatique tangible d'une icône dans une interface utilisateur graphique traditionnelle, ou GUI . Les phicons contiennent une référence à un objet numérique et transmettent ainsi une signification.

Les icônes physiques ont été utilisées pour la première fois comme interfaces tangibles dans le projet metaDesk construit en 1997 par le groupe de recherche sur les éléments tangibles du professeur Hiroshi Ishii au MIT . Le metaDesk était constitué d'une table dont la surface montrait une image vidéo rétroprojetée. Le placement d'un phicon sur la table déclenchait des capteurs qui modifiaient la projection vidéo.