Africa-Press – Benin. Prenez le dessus d’une table, la couverture d’un livre, un mug, une boîte et pianotez dessus comme s’il s’agissait d’un clavier de smartphone. Miracle, vous venez bel et bien d’envoyer un vrai e-mail !
Ce scénario a priori farfelu est exactement le principe du projet PropType d’une équipe du laboratoire sur les interactions multimodales (MI Lab) de l’université du Texas à Dallas (Etats-Unis). Il a été présenté au dernier symposium sur les interfaces utilisateurs à Busan, en Corée du Sud, et récemment dévoilé plus largement par l’université par le biais d’une démo vidéo (voir ci-dessous).
L’idée est bien de transformer n’importe quel objet ou accessoire rigide en « claviers instantanés », selon une formule de l’article de recherche, pour peu que l’utilisateur soit équipé d’un casque de réalité virtuelle ou de lunettes de réalité augmentée. Car, en effet, les touches ne sont qu’une simulation virtuelle qui apparaît dans la visière mais positionnées dans l’espace de telle manière qu’elles se surimposent à un objet bien réel, lui.
Ainsi, lorsque les doigts de la personne vont « appuyer » sur le clavier dans la représentation virtuelle, ils vont en même temps rencontrer la surface physique de l’objet.
Suivi du mouvement des doigts
Pour parvenir à cet effet, le dispositif, encore à l’état de prototype, ne se limite pas à un visiocasque. L’objet censé servir de support est doté d’un petit accessoire en forme de croix. Il compte cinq repères réfléchissants. Les pouces de l’utilisateur sont eux aussi équipés de tels repères, fixés sur des genres de bague à glisser sur les phalanges. Tous servent à un système de capture de mouvements constitué de six caméras autour de l’utilisateur, de manière à collecter les données de position dans l’espace des doigts et de l’objet. Ce qui permettra de calculer la manière de faire apparaître en temps réel le clavier virtuel.
Le principe de claviers simulés en réalité virtuelle ou augmentée n’est pas nouveau. Mais les interfaces de ce genre, jusque-là, impliquent que l’utilisateur agite ses doigts dans le vide. Le fait d’apporter une surface physique sur laquelle les appuyer fournit un gain de précision à la fois dans le geste et dans le repérage dans l’espace des doigts et de leurs mouvements.
19.392 frappes de touches
Le projet PropType a été testé expérimentalement auprès de 16 participants, sur quatre objets différents en taille comme en design (boîte, bouteille, mug, plaquette), pour un total de 19.392 frappes de touches.
Il s’avère que les surfaces plates (boîte et plaquette) garantissent une frappe nettement plus rapide que les formes cylindriques de la bouteille et du mug. C’est la même chose concernant la précision de la saisie. Pour compenser un peu les défauts de telle ou telle surface, PropType s’accompagne d’un éditeur de clavier, permettant de paramétrer la répartition des touches, le nombre de lignes sur le clavier, leurs couleurs et le signal sonore ou lumineux émis au moment de la frappe.
Réalité virtuelle
