Free Viewpoint Television ( FTV ) es un sistema para ver vídeo natural, que permite al usuario controlar interactivamente el punto de vista y generar nuevas vistas de una escena dinámica desde cualquier posición 3D. [1] El sistema equivalente al vídeo simulado por ordenador se conoce como realidad virtual . Con FTV, el foco de atención puede ser controlado por los espectadores en lugar de por un director, lo que significa que cada espectador puede estar observando un punto de vista único. Queda por ver cómo afectará FTV a ver televisión como actividad grupal.
Los sistemas para representar vistas arbitrarias de escenas naturales son bien conocidos en la comunidad de visión por computadora desde hace mucho tiempo, pero sólo en los últimos años [ ¿cuándo? ] tiene la velocidad y la calidad alcanzadas niveles que son adecuados para una consideración seria como sistema de usuario final. [ cita necesaria ]
El profesor Masayuki Tanimoto de la Universidad de Nagoya (Japón) ha hecho mucho para promover el uso del término "televisión de punto de vista libre" y ha publicado muchos artículos sobre la representación del espacio de rayos, [ cita necesaria ] [ aclaración necesaria ] aunque se pueden utilizar otras técnicas, y se utilizan para FTV.
QuickTime VR podría considerarse un predecesor de FTV. [ cita necesaria ]
Para adquirir las vistas necesarias que permitan una representación de alta calidad de la escena desde cualquier ángulo, se colocan varias cámaras alrededor de la escena; ya sea en un entorno de estudio o en un lugar al aire libre, como un estadio deportivo, por ejemplo. Luego, el vídeo de vista múltiple (MVV) de salida debe empaquetarse adecuadamente para que los datos puedan comprimirse y también para que el dispositivo de visualización de los usuarios pueda acceder fácilmente a las vistas relevantes para interpolar nuevas vistas. [ cita necesaria ]
No basta simplemente con colocar cámaras alrededor de la escena que se va a capturar. La geometría de la configuración de la cámara debe medirse mediante un proceso conocido en visión por computadora como "calibración de la cámara". [ cita necesaria ] La alineación manual sería demasiado engorrosa, por lo que normalmente se realiza una alineación de "mejor esfuerzo" antes de capturar un patrón de prueba que se utiliza para generar parámetros de calibración.
Se pueden capturar vistas de televisión con puntos de vista libres restringidos para entornos grandes desde un sistema de cámara de ubicación única montado en una plataforma móvil. [ cita necesaria ] También se deben capturar datos de profundidad, lo cual es necesario para generar el punto de vista libre. El sistema de captura de Google Street View es un ejemplo con funcionalidad limitada. La primera implementación comercial completa, iFlex , fue entregada en 2009 por Real Time Race . [2]
La captura de vídeo multivista varía desde una cobertura parcial (normalmente unos 30 grados) hasta una cobertura completa (360 grados) de la escena. Por lo tanto, es posible generar vistas estereoscópicas adecuadas para visualizar con una pantalla 3D u otros métodos 3D. Los sistemas con más cámaras físicas pueden capturar imágenes con mayor cobertura de la escena visible; sin embargo, es probable que ciertas regiones siempre queden ocluidas desde cualquier punto de vista. Un mayor número de cámaras debería permitir obtener resultados de alta calidad porque se necesita menos interpolación.
Más cámaras significan que se requiere una codificación eficiente del vídeo Multiview. Puede que esto no sea una desventaja tan grande, ya que existen representaciones que pueden eliminar la redundancia en MVV; como la codificación de entrevistas usando MPEG-4 o codificación de video Multiview , la representación del espacio de rayos, videos de geometría, [3] [ se necesita aclaración ] , etc.
En términos de hardware, el usuario necesita un dispositivo de visualización que pueda decodificar MVV y sintetizar nuevos puntos de vista, y una pantalla 2D o 3D.
El Moving Picture Experts Group (MPEG) normalizó el anexo H de MPEG-4 AVC en marzo de 2009, llamado Multiview Video Coding, después del trabajo de un grupo llamado '3DAV' (3D Audio and Visual) encabezado por Aljoscha Smolic [4] en el Heinrich -Instituto Hertz .