Pranav Mistry

Pranav Mistry s'est spécialisé en informatique ubiquitaire et dans certaines approches transdisciplinaires de l'informatique.

Il se présente lui-même comme « Desigineer» (néologisme associant les notions de design et d'ingénierie) [2]. Il a travaillé dans un laboratoire orienté vers le travail d'interfaçage fluide et intuitif du « monde digital » de la société de l'information avec le monde physique qui nous entoure.

Il est considéré par beaucoup comme l'un des innovateurs les plus doués de sa génération dans le domaine des applications informatiques de ce domaine.

Pranav Mistry explore en particulier les interactions permises par l'informatique ubiquitaire, la reconnaissance de gestes, la vision artificielle (« Machine vision »), les interfaces tangibles voire des éléments de Robotique.

Il utilise l'AI (intelligence artificielle), pour augmenter la réalité.

L'intelligence collective ou collaborative est un de ses centres d'intérêt.

Il s'est surtout fait connaitre[3] - [4] pour une invention (ordinateur et interface dématérialisés) dite « SixthSense » ("6^e sens" en français), parfois aussi dénommée WUW (pour « Wear Ur World » [5]).

À la fois intéressé par le design, l'art, l'architecture, la technologie et la psychologie ou le Web sémantique, il explique sur sa page personnelle[6] qu'il « aime voir la technologie du point de vue design et vice-versa »".
Il cite "[7] Hiroshi Ishii selon qui « Nous vivons entre deux mondes : notre environnement physique et le cyberespace. En dépit de notre double citoyenneté, l'absence de raccords sans soudure entre ces existences parallèles laisse un grand fossé entre le monde des bits numériques et des atomes. À l'heure actuelle, nous sommes déchirés entre ces espaces parallèles, mais disjoints » [8]". Mistry cherche à concrètement rapprocher ces deux mondes.

• Une constante de son travail est la recherche de solutions créatives et innovantes, pratiques et peu coûteuses visant à intégrer, par des moyens simples, le numérique dans notre environnement quotidien, pour faciliter la vie de tous et chacun.
  Pour ce faire, il associe souvent des outils informatiques banalisés ou facile à trouver dans le commerce, mais en leur donnant de nouvelles fonctions. Ces outils permettent de faire interagir et rétroagir l'information numérique (captée ou créée) avec le monde réel et le comportement et la gestuelle humaine (Gestuelle des doigts et des mains, communication non verbale…). C'est un des chercheurs qui travaillent à créer une "réalité augmentée", au service de l'Homme.
• Avec d'autres informaticiens ou « info-média-designers » de sa génération, il dit vouloir aussi réduire la fracture numérique, en diminuant le coût des outils, mais aussi en les rendant plus ergonomiques et proche de la gestuelle humaine naturelle. Il cherche en effet à rendre l'informatique plus transparente, au service des besoins des humains ; "ce n’est pas l’informatique qui nous intéresse, c’est l’information".
• Il est également connu et apprécié pour le fait qu'il a annoncé qu'il offrirait les résultats de son travail (innovations matérielles et logicielles) à tous, en licence libre et open-source, dans une logique collaborative et de partage.
  Plusieurs vidéos présentant son projet sont également disponibles en licence Creative Commons[9].

• Fils d'architecte, Pranav Mistry s'est formé à l'IIT Bombay puis à l'université de l'État du Gujarat (Gujarat University) en Inde.
• Il a brièvement travaillé avec Microsoft, comme chercheur sur UNIX
• Puis il s'est fait connaître dans le monde entier, pour avoir inventé, avec des moyens simples (rouleaux de souris, webcam, microphone de webcam, mini-vidéoprojecteur…) de nouveaux concepts permettant d'élargir les fonctions d'ordinateurs et d'objets de la vie courante, en les faisant interagir, entre eux, et avec l'environnement et les personnes.
  Durant sa vie étudiante, il a inventé les « Quickies » et divers outils (décrits ci-dessous).
  Il a surtout élaboré et testé un projet considéré comme une révolution par certains, d'ordinateur dit "SixthSense" ("6^e sens").
• Il est depuis 2008 assistant-chercheur et thésard, membre du « Fluid interface group » [10] et de 2006 à 2008 il a été l'Ambient Intelligence Group laboratoire Media Lab du MIT (Massachusetts Institute of Technology) à Cambridge.

Pranav Mistry a développé un équivalent numérique « intelligent » et « augmenté » du Post-it-papier développés par 3M dans les années 1980, tout en conservant leur côté simple et pratique. Il les a appelés « Quickies » [11] - [12]. Différents types d'interface permettent de directement lier la classique note manuscrite au monde numérique (téléphone mobile, agenda numérique, liste de tâches, logiciels de courriels et clients de messagerie). Ces notes peuvent être classées ou retrouvées ou se faire rappeler « au bon moment » (envoi de messages « mail » ou « texto ») par les moyens et logiciels propres au monde numérique [7] et en particulier par l'intelligence artificielle associée au traitement du langage naturel, à la RFID et aux techniques de reconnaissance de texte manuscrit. Ainsi les quickies savent copier dans le carnet d'adresse de l'ordinateur un numéro de téléphone écrit à la main sur le « post-it », puis l'appeler à la date indiquée, ou rappeler (par un texto ou message vocal synthétique) à la personne qui l'a écrit de ne pas oublier d'acheter du dentifrice (alors qu'on passe à proximité d'un supermarché) et de ne pas oublier le prochain rendez-vous pris il y a six mois avec l'oculiste.

Le texte du post-it est traité à l'aide d'un moteur de reconnaissance de caractère, puis par un logiciel sémantique qui cherche à en comprendre le sens (grâce à des outils d'IA, ConceptNet et à la PNL) et à le relier à d'autres informations qui rendent la base de données « contextuellement riche » et aide le système à catégoriser les notes. Le système peut ensuite utiliser sa « connaissance des intentions de l'utilisateur », le contenu et le contexte de la note pour envoyer à l'utilisateur ou à un destinataire indiqué ou suggéré par la note des rappels, des alertes, ou des informations « juste à temps ».

Quand un « post-it papier » est muni d'une puce ou étiquette RFID ou associé à une telle puce, si ce post-it est collé par exemple dans un livre, il est également « trouvable » dans le bureau, la bibliothèque, la voiture ou le grenier… et l'ordinateur se souvient de ce qu'il contient. Il peut alors suggérer des choses et induire une situation de « sérendipité ».

Pranav Mistry a mis au point un prototype fonctionnel (matériel et logiciel) de quickies avant de le tester pour de nombreux usages avec des usagers différents et en situation différentes (maison, bureau ou autre lieu de travail).

Pranav Mistry a travaillé avec Kayato Sekiya sur une interface dite « Inktuitive[13] » reliant un ordinateur avec logiciel de dessin 3D à un stylo repérable dans l'espace via une caméra infrarouge, et permettant de facilement (et intuitivement) de dessiner et « extruder » des formes en 3D temps réel devant l'écran, sans tablette graphique, simplement en déplaçant le « crayon » dans l'espace (Le crayon est repéré par le système via une LED infrarouge, un émetteur et un récepteur d'ultrasons). Les possibilités permises par le dessin sur papier sont ici « augmentées».

TaPuMa [14] - [15] - [16] est un autre des projets visant à connecter le cyber espace avec le monde physique de la vie quotidienne. C'est encore une application basée sur l'idée d'utiliser les objets ou surfaces qui nous entourent comme interface avec le monde informationnel.
Plus précisément, TaPuMa est une carte publique qui se présente comme celles qu'on peut trouver dans les villes, métros, gares, aéroports, etc. Mais à la différence des cartes classiques inertes et muettes, le prototype de TaPuMa était en 2006 doté d'un système de reconnaissance de certains objets (munis d'étiquette RFID), et d'éléments simples d'intelligence artificielle.
par exemple, en posant un paquet de cigarette sur la carte, celle-ci affiche les lieux fumeurs, en posant un ticket de métro, elle affiche le plan du métro, etc.

Une telle carte peut théoriquement contenir de très nombreuses couches d'informations géoréférencées ou non (toutes celles qui sont déjà accessibles via google earth par exemple).
Une partie de ces informations (via internet ou d'autres capteurs) sont automatiquement mises à jour et disponibles en quasi-temps réel, mais une autre partie des informations peut théoriquement être insérée dans le système par les usagers eux-mêmes. L'équipe qui travaillait sur ce projet au MIT prévoyait d'étendre la capacité du système en matière de reconnaissance de forme et de sens, et d'interactivité [14].
À terme ce type de carte pourrait permettre de trouver des personnes, des objets, des lieux, des évènements (éventuellement commentés) dans notre environnement.

Ce projet (en cours de développement) d'ordinateur ubiquitaire et dématérialisé (parfois aussi appelé WUW - Wear Ur World) vise à construire un système incluant des objets de l'environnement quotidien, tenant lieu d'ordinateur quasi dématérialisé, qu'on emporte avec soi et où tout objet en devient support possible. Il est pour l'instant commandé par gestes simples, via des « capteurs » qui repèrent des points de repère (colorés en rouge, jaune, bleu et vert) apposés sur le bout de 4 des doigts de l'utilisateur.

Abandonnant la dépendance au clavier, à la souris et à l'écran et même au Poste de travail physique, P Mistry associe entre eux, une webcam, un mini-vidéoprojecteur et un téléphone mobile. Il les a doté d'interfaces d'échanges et de capacités d'analyse d'image et de mouvements.
Il a ainsi déconstruit puis reconstruit le concept d'ordinateur individuel, en partant des besoins et de nos compétences gestuelles. Selon son inventeur ce système doit encore être miniaturisé et allégé, mais à terme il pourrait être disponible pour un prix équivalent à celui d'un téléphone mobile.

TellUs est un outil utilisable pour l'éveil des enfants, incluant une réalité "augmentée" pour les objets présentés comme personnages d'une maison.

Ce projet développé avec Pattie Maes vise[17] - [18] à produire et tester des lunettes pouvant afficher plusieurs informations différentes sur un même écran (le verre des lunettes) (par exemple pour un téléspectateur, qui pourrait voir les sous-titre d'un film dans sa langue, alors que son voisin les voit dans une autre langue, dans ses propres lunettes. Un panneau d'affichage public pourrait être "lu" en chinois par un Chinois et au même moment en français par un Français. Dans un jeu multijoueur, devant un même écran, chaque joueur pourrait voir des informations différentes, alors que deux personnes différentes pourraient regarder deux émissions différentes sur le même écran. Un écran ou un panneau d'affichage pourrait afficher des informations uniquement pour des personnes qui seraient concernées.
On peut penser qu'avec les lunettes 3D développées pour la 3D virtuelle sera également possible.

• Pranav Mistry et l'équipe dans laquelle il travaille sont conscients qu'un mauvais usage de ces techniques peut aussi avoir des effets pervers. Mis au service d'une dictature ou de personnes mal intentionnées, ces outils faciliteraient le totalitarisme, l'espionnage, etc. La communauté des logiciels libre considère souvent que l'open-source associé à des moyens techniques simples tels que ceux que propose Mistry est également un garde-fou contre ce genre de dérive, ces outils pouvant peut-être encore plus efficacement être utilisés contre les pouvoirs totalitaires. Mistry reconnaît qu'un tel changement de paradigme conduit à poser des questions nouvelles, que les commissions d'éthique et liberté, de même que les prospectivistes commencent à étudier.
• L'informatique est de plus en plus consommatrice d'électricité et cause une pollution en amont lors de la fabrication des produits et en aval via les "déchets électroniques". Des incertitudes pèsent encore sur l'innocuité du smog électromagnétique pour l'homme ou d'autres espèces.
• L'intelligence artificielle, bien utilisée, devrait aussi permettre d'optimiser les processus et les ressources.
  Pranav Mistry a quand il était étudiant développé un projet " SunFlower " qui est un système électronique" capable - à l'image d'un tournesol – de suivre la course du soleil. Il a été utilisé par son institut pour guider des panneaux solaires afin d'en optimiser le rendement, et aussi comme dispositif d'information météorologique. Ici encore la logique collaborative pourrait peut-être amener des solutions innovantes.

D'autres chercheurs du MIT ou d'ailleurs, ont également développé des outils proches de ceux de Mistry ou complémentaires, avec le même esprit d'utilisation de matériels déjà disponibles et peu coûteux (par exemple pour la localisation globale (de la géolocalisation satellitale à la localisation par étiquettes RFID), accessible à un plus grand nombre de personnes dans le monde. Ils y associent souvent des innovations telles qu'écrans tactiles, écrans souples logiciels de détection des gestes, formes ou visages, de reconnaissance d'images, qui sont eux-mêmes dopés par la puissance de calcul aujourd'hui permise par les progrès de l'informatique. Cette génération de chercheurs estime qu'au lieu de produire toujours plus de périphériques mangeurs de temps, d'espace et d'énergie, il est déjà possible d'interagir avec le monde du numérique, éventuellement via nos vêtements, montres, stylos, meubles et immeubles.

Ceci élargit la gamme des possibles. Il est de plus en plus facile de faire communiquer des gens avec des objets, et inversement, et des objets entre eux, qu'ils soient proches ou distants. Il devient possible de localiser les objets et les personnes dans notre voisinage, avec des outils et concepts encore considérés comme relevant de la science-fiction au début des années 2000.

Certains de ces outils pourraient être couplés avec les inventions de Mistry, dont par exemple ;

• les systèmes inventés par Johnny Lee à partir d'éléments de contrôleur jeux vidéo (détecteur de mouvement de type Wiimote contenant un Accéléromètre et une caméra infrarouge, comme on en trouve dans celui de la Wii de Nintendo (Camera 1024x768). Ce matériel a permis à Johnny Lee dès 2007 de transformer un écran d'ordinateur en tablette graphique, ou de créer un « tableau blanc interactif » pour quelques dizaines de dollars, au lieu de 2000 à 3000 dollars que coûtaient alors les tableaux commercialisés.
  Johnny Lee a aussi inventé une paire de lunettes équipée de deux diodes (infra-rouge) permettant à l'ordinateur de situer la position de la tête de l'utilisateur dans l'espace, et de produire à l'écran un effet de vision 3D[19] - [20]. Il a également mis le logiciel de base en open-source et téléchargement gratuit sur son site (téléchargé un demi-million de fois en quelques mois).
• le système de gestion d'images développé par Blaise Aguera y Arcas permettant de parcourir des collections d'images (ou de cartes, images satellitales, etc.) collectées sur le net, et automatiquement reliées entre elles, avec une méta-information croissante qui les enrichit (via par exemple les tags déposés par les internautes à partir de bases comme Flickr ou Wikimedia commons) [21]
• Ces innovations pourraient également à terme se fondre dans une écodomotique urbaine ouverte, en s'intégrant dans des approches de type architecture open-source comme celle que propose Cameron sinclair[22].

En 2006, P. Mistry a déposé 7 brevets :

• Digital user interface for inputting Indic scripts (US 2007/0174771) (167/DEL/2006)
• Radio frequency control of computing system (1416/DEL/2006)
• Start menu display model (1417/DEL/2006)
• Multi-mode multimedia device and computing system (WO/2007/124083) (1418/DEL/2006)
• Task-oriented start menu (1419/DEL/2006)
• Hardware control initiated task switching (1420/DEL/2006)
• Single hardware control initiated switching between application and utilities (1422/DEL/2006)

• (en) Pranav Mistry filmé lors d’une conference TedIndia à Mysore (Inde) en nov 2009, mis en ligne nov 2009 (Vidéo + texte)]
• (en) Conférence "TED Talks" ; Pranav Mistry : The thrilling potential of SixthSense technology (Lors d'une conférence publique du réseau TED, Pranav Mistry présente le potentiel de sa technologie du "6^e sens" permettant de multiplier les interactions entre monde physique et numérique informationnel) (Vidéo + texte)
• (en) Conférence "TED Talks" ; Pattie Maes et Pranav Mistry: Unveiling the Sixth Sense" ,game-changing wearable tech
• (en) P. Mistry. The thrilling potential of SixthSense technology (texte et vidéo, par . TED. Conférence, Mysore, Inde 2009