Photosynth es una aplicación y un servicio descontinuados de Microsoft Live Labs y la Universidad de Washington que analiza fotografías digitales y genera un modelo tridimensional de las fotos y una nube de puntos de un objeto fotografiado. [1] Los componentes de reconocimiento de patrones comparan partes de imágenes para crear puntos, que luego se comparan para convertir la imagen en un modelo. Los usuarios pueden ver y generar sus propios modelos utilizando una herramienta de software disponible para descargar en el sitio web de Photosynth.
Photosynth se basa en Photo Tourism, un proyecto de investigación del estudiante de posgrado de la Universidad de Washington Noah Snavely. [2] Poco después de la adquisición de Seadragon por parte de Microsoft a principios de 2006, ese equipo comenzó a trabajar en Photosynth, bajo la dirección del fundador de Seadragon, Blaise Agüera y Arcas . [3]
Microsoft lanzó una versión de vista previa de tecnología gratuita el 9 de noviembre de 2006. Los usuarios podían ver modelos generados por Microsoft o la BBC , pero no crear sus propios modelos en ese momento. [4] Microsoft se asoció con la NASA el 6 de agosto de 2007, lo que permitió a los usuarios obtener una vista previa de su tecnología Photosynth que mostraba el transbordador espacial Endeavour . El 20 de agosto de 2007, se puso a disposición para su visualización una vista previa que mostraba los mosaicos del Endeavour durante el proceso de voltereta hacia atrás.
El 20 de agosto de 2008, Microsoft lanzó oficialmente Photosynth al público, permitiendo a los usuarios cargar sus imágenes y generar sus propios modelos Photosynth.
En marzo de 2010, Photosynth agregó soporte para panoramas de gigapíxeles cosidos en Microsoft ICE . Los panoramas utilizan tecnología basada en Seadragon similar al sistema que ya se utiliza en los sintetizadores. [5]
En julio de 2015, Microsoft anunció que retiraría las aplicaciones móviles de Photosynth. Mientras Photosynth se preparaba para cerrar a principios de 2017, Mapillary , una plataforma de imágenes de colaboración colectiva a nivel de calle, se puso en contacto con la comunidad de Photosynth con su publicación en el blog Photosynth-to-Mapillary [6] , y la cuenta oficial de Twitter de Photosynth sugirió a los usuarios que "las probaran". [7] El 6 de febrero de 2017, Microsoft desactivó el sitio web y los servicios de Photosynth. [8]
El 20 de diciembre de 2017, Photosynth regresó como una función de la aplicación Microsoft Pix . [9]
En el desarrollo de Microsoft Flight Simulator , la tecnología Photosynth de Microsoft regresó para recrear edificios y terrenos en todo el mundo.
La tecnología Photosynth funciona en dos pasos. El primer paso implica el análisis de múltiples fotografías tomadas de la misma área. Cada fotografía se procesa utilizando un algoritmo de detección y coincidencia de puntos de interés desarrollado por Microsoft Research que es similar en función al Scale-invariant feature transform de UBC . Este proceso identifica características específicas, por ejemplo, la esquina de un marco de ventana o la manija de una puerta. Las características de una fotografía se comparan y se combinan con las mismas características de las otras fotografías. De este modo, se identifican fotografías de las mismas áreas. Al analizar la posición de las características coincidentes dentro de cada fotografía, el programa puede identificar qué fotografías pertenecen a qué lado de las demás. Al analizar las diferencias sutiles en las relaciones entre las características (ángulo, distancia, etc.), el programa identifica la posición 3D de cada característica, así como la posición y el ángulo en el que se tomó cada fotografía. Este proceso se conoce científicamente como ajuste de paquete y se usa comúnmente en el campo de la fotogrametría , con productos similares disponibles como Imodeller y D-Sculptor. Este primer paso es extremadamente intensivo en términos computacionales, pero solo debe realizarse una vez en cada conjunto de fotografías.
El segundo paso implica la visualización y navegación a través de la nube de puntos 3D de las características identificadas en el primer paso. Esto se hace con el visualizador Photosynth, que se puede descargar públicamente. El visualizador reside en un ordenador cliente y mantiene una conexión con un servidor que almacena las fotografías originales. Permite al usuario, entre otras cosas, ver cualquiera de las fotografías desde su punto de vista original. Incorpora la tecnología DeepZoom que Microsoft obtuvo mediante la adquisición de Seadragon en enero de 2006. La tecnología de Seadragon permite hacer zoom de forma suave en las fotografías de alta resolución sin tener que descargarlas en el ordenador del usuario.
El software de visualización basado en Photosynth Direct 3D solo está disponible para los sistemas operativos Windows 7 , Windows Vista y Windows XP . Sin embargo, el equipo lanzó una versión Silverlight del visualizador que sucedió al visualizador D3D como la opción principal para visualizar fotosintéticos.
A partir de marzo de 2009, las colecciones de Photosynth cargadas por los usuarios estaban disponibles para su visualización en iPhones usando iSynth (3D) o Seadragon Mobile (solo 2D). La aplicación Photosynth también estaba disponible en la App Store para descargar en iPod Touch y iPhone . En mayo de 2012, [10] Microsoft lanzó una aplicación Photosynth para su plataforma móvil, Windows Phone . [11] El 10 de julio de 2015, Microsoft anunció que retirarían las aplicaciones móviles de Photosynth, las eliminarían de sus tiendas y ya no las respaldarían ni actualizarían. [12]
Si bien la plataforma Photosynth se cerró a principios de 2017, sus funciones reaparecieron en otoño dentro de la aplicación Microsoft Pix para iOS; sin embargo, a fines de 2020, las funciones de Photosynth parecen ya no ser parte de la aplicación Microsoft Pix.
La última generación de Photosynth es fácil de capturar, ya que las fotografías tomadas con cualquier cámara digital o teléfono móvil se pueden cargar en Photosynth. Los usuarios tienen la opción de geolocalizar sus fotografías digitales en sitios como Flickr y luego cargarlas en el servicio web en línea Photosynth. Las imágenes cargadas en Photosynth brindan a las personas la posibilidad de ver sin problemas lugares de interés, espacios públicos y objetos desde todos los ángulos.