Photosynth

Photosynth est toujours accessible gratuitement en mode consultable (page Web via quelques navigateurs et systèmes supportant le player Silverlight Silverlight dont Internet Explorer mais pas Edge), soit en mode création avec un compte Microsoft et l'installation de sa forme logiciel PC dédiée, soit comme application mobile, alors Photosynth est disponible sur Windows Mobile et iOS, cette application fonctionne sur des smartphones équipés d'au moins 512 Mo de mémoire vive et d'un gyroscope[1]. Ceux-ci se connectant au serveurs Microsoft pour l'upload des photographies (traitement en ligne) relié au site Web Photosynth.

Ce logiciel permet la visualisation de lieux de tailles relativement réduite (place, bâtiment, objets). Ces prises de vues sont appelées "objets", et le tout est nommé : "scène". Le logiciel nomme ces scènes: "synth" (image synthétique en volume). Il est conseillé par Microsoft de modéliser des scènes en envoyant entre 3 et 300 photographies, ceci en 2008. En 2016 les capacités de traitement des serveurs permettent désormais de produire aisément des rendus "objet" intérieur et extérieur mêlés, dont des images de synthèse (points de vue) à partir de plus de 1000 photogrammes.

Ces photographies sont censées être positionnées précisément les unes par rapport aux autres. Pour l'utilisateur, l'exploration et les manipulations de navigation interactive, se font librement, à l'aide de la souris ou du clavier.

Il existe également un mode automatique interactivable à tout moment, qui utilise des effets des transitions et fusions en 3D ou pseudo-3D

• L'utilisateur devra être inscrit chez Microsoft & Photosynth pour obtenir un espace de stockage et de création.
• La limite de stockage par compte Photosynth est officiellement de 20 Go de données (les fichiers de photos), donc de quelques-unes à quelques milliers de photos, selon leurs résolutions photographiques, mais cette limite peut-être dépassée sans aucune gêne.
• Le système pour créer une scène nécessite l'envoi d'images d'un même parcours spatial, qu'elles soient dites d'intérieur ou d'extérieur, mais pas obligatoirement simultanées ou immédiatement consécutives dans le temps. Une scène peut être enrichie a posteriori en ajoutant dans son dossier source d'autres photos correspondant à cette même scène.
• Chaque photo doit au préalable être bien orientée et surtout correspondre, à au moins 50 % de sa surface, avec au minimum deux autres photos de la série.
• Pour qu'un objet soit parfaitement manipulable à 360°, il vaut mieux au moins une centaine de prises de vue tout autour de l'objet, ceci à différentes hauteurs ainsi que dessus et dessous et pour chaque hauteur une vue tous les 10° d'angle autour de l'objet, cela autant pour la rotation horizontale que celle verticale. Plus le sujet comporte de concavité plus il faut de photographies.
• Le résultat n'est pas officiellement (en 2008) enregistrable sous cette forme dans l'ordinateur client, mais des solutions non officielles existent

Même si devant toujours être d'une même zone spatiale, comme chaque scènes peut être composée de photographies récentes ou anciennes numérisées, les évolutions temporelles peuvent y être représentées, mais à noter qu'actuellement aucun outil n'organise cet aspect temporel.

Utilisant le mode commun d'installation des logiciels pour Windows il est composé de plusieurs outils, dont deux intégrés, sont installés dans l'ordinateur de l'usager :

1) une l'interface spécifique non-navigateur, appelable soit par celui-ci, soit via l'icône Photosynth, de chargement (exportation, ou "upload") vers votre espace personnel dans les unités de stockage de Microsoft. Les photographies sont chargées en un groupe par scène, plusieurs groupes correspondant à plusieurs scènes aux intitulés différents.

Puis finalement :
2) un système de traitement automatique et très rapide, après upload, des photographies.Le résultat, visible sur la page Web, met quelques minutes à plusieurs heures pour apparaître, selon la vitesse d'upload et le nombre de photographies à traiter.

La version publique était disponible pour les systèmes d'exploitations suivants : Windows 10, 8, 7, Vista, XP, Microsoft mobile OS et Mac OS X.

La technologie principale utilisée est une méthode de structuration de l'espace en un nuage de points en 3D (visualisable lui-même en 3D exploratrice dans Photosynth).

Elle produit des groupes de "points" géométriques, principalement à partir d'une analyse des "objets" présents dans chaque photographie et de leurs formes distinguables et marquables par une méthode de triangulation 2D automatique (ce type de fonction est, dans le domaine de la 2D, par exemple, désormais intégré dans les logiciels de fusion de photographies pour panoramas Category:Photo stitching software).

Ensuite la comparaison entre les images pour y trouver les groupes de points qui leur sont communs en les situant dans un espace à 3 dimensions, permet de reconstituer la topologie 3D de cet espace fragmentaire à l'origine.

Finalement, on obtient une scène, nommée un « Synth », composé d'abord de cette structure 3D (le nuage) support de la scène globale, puis la technologie de navigation (SeaDragon à l'origine et désormais Silverlight), permet d'explorer à la souris à partir, pour chaque vue, d'un lien délimité par un cadre. Ce cadre est positionné de telle manière qu'il correspond à la position et orientation, dans la scène globale, de l'appareil photo lors de la prise de vue, le cadre étant orienté vers la vue elle-même. Quand on clique sur un cadre l'image qu'il représente et quelques-unes alentour, s'affichent de manière progressive, fluide et rapide en commençant par des versions basse-résolution des photos. Cet affichage se fait en flux Internet direct, le streaming, les photos et le nuages de point ne sont, à aucun moment, stockés dans le disque dur de l'ordinateur de l'utilisateur, une seule solution facile mais limitée étant la capture d'écran.

• Il est possible de basculer entre le mode de navigation 3D et une vue de type planche contact, zoomable à volonté : ceci est très utile particulièrement pour repérer les vues isolées, chargées, mais non intégrées à la scène.
• Déplacement dans la scène 3D pour regarder tous les angles de vue.
• Zoom avant ou arrière dans chaque photo (particulièrement celle fournies en haute résolution)
• Des cadres qui indiquent les photos et leurs positions relatives de prise de vue les unes par rapport aux autres.
• Navigation/manipulation d' "objet" 3D à l'aide de nombreuses poignées positionnées à divers endroits de l'espace de la scène, saisissables sous forme de couronnes segmentées nommées "halo" permettant de tourner autour de l'objet et dans tous les sens ; les segments du halo sont cliquables et correspondent chacun à l'une des vues composant l'objet.

• Indication de l'adresse publique (différente de l'adresse privée, donc, dans l'interface utilisateur) d'une scène pour l'envoi, par exemple par courriel ou Messenger.
• Production du code à intégrer pour incruster une scène dans une page de site Web.
• Localiser une scène dans Virtual Earth.

La pré-version de démonstration, non disponible au public pour la production, a déjà été capable de démontrer une puissance de traitement un peu supérieure par la réalisation de scènes comprenant jusqu'à près de 500 images, par exemple pour une vue de la Yosemite Valley (497 images[2]). À noter qu'il s'agit là pour cet exemple et le suivant d'un partenariat avec la revue National Geographic, qui fournit parmi les plus belles scènes immersives assemblées avec Photosynth[3].

Encore plus spectaculaire est une scène de la Place Saint Marc à Venise[4], composée de 467 photos, où des capacités, encore en développement de Photosynth, sont bien imaginables et commencent à être visibles : ici spécifiquement ses capacités de synthèse en volume 3D avec un rendu des matières et en couleur. Ce synth, par exemple, en se plaçant juste devant la porte centrale de la Basilique Saint Marc, peut être tourné, grâce à un halo, sur 360° à l'horizontale et sur 180° à la verticale.

Mais bien plus surprenant est le rendu en couleur des objets, par les points colorés eux-mêmes. Ce sont les circonstances d'éclairage lors des prises de vue qui ont permis cela. Cette qualité est particulièrement visible pour la peinture nommée "Il Giudizio Universale" au-dessus de la porte principale. Savoir profiter au mieux des éclairages semble donc essentiel pour la qualité du rendu 3D. On peut imaginer sans mal que le rendu 3D ne sera plus uniquement un nuage de points, mais sera assez réaliste lorsque le système assemblera bien plus de photos, et surtout lorsqu'il disposera les textures extraites des photos, ce que l'outil similaire de Autodesk est capable de produire depuis 2012.

• Intégration à la version 3D de Virtual Earth.
• Parcours temporels : varier la visualisation selon l'heure du jour souhaitée (si photo disponible), ou bien à travers les années[5]

• Modélisation 3D des espaces extérieurs, intérieurs et objets basés sur un placage de texture (image de synthèse) issues des photographies sur le nuage de point.