La sinopsis de video es un método para sintetizar automáticamente un resumen breve e informativo de un video. A diferencia del resumen de video tradicional , la sinopsis no se compone solo de fotogramas del video original. [1] El algoritmo detecta, rastrea y analiza objetos en movimiento (también llamados eventos) en una base de datos de objetos y actividades. [2] El resultado final es un nuevo videoclip corto en el que se muestran simultáneamente objetos y actividades que ocurrieron originalmente en diferentes momentos, para transmitir información en el menor tiempo posible. La sinopsis de video tiene aplicaciones específicas en el campo del análisis de video y la videovigilancia donde, a pesar de los avances tecnológicos y el mayor crecimiento en el despliegue de cámaras CCTV (circuito cerrado de televisión), [3] la visualización y el análisis de material grabado sigue siendo una tarea costosa que requiere mucho trabajo y tiempo.
La sinopsis de video combina un resumen visual del video almacenado junto con un mecanismo de indexación.
Cuando se requiere un resumen, se recopilan todos los objetos del período objetivo y se desplazan en el tiempo para crear un video de sinopsis mucho más corto que muestra la actividad máxima. Se genera un videoclip de sinopsis , en tiempo real, en el que se muestran simultáneamente objetos y actividades que ocurrieron originalmente en diferentes momentos. [4]
El proceso comienza con la detección y el seguimiento de objetos de interés. Cada objeto se representa como un tubo en el espacio-tiempo de todos los fotogramas del vídeo. Los objetos se detectan y almacenan en una base de datos en tiempo prácticamente real.
Luego de una solicitud para resumir un período de tiempo, se extraen todos los objetos del tiempo deseado de la base de datos y se indexan para crear un video resumen mucho más corto que contiene la máxima actividad.
Se utiliza la renderización en tiempo real para generar el video de resumen después de la resincronización de los objetos. Esto permite que el usuario final controle la densidad de objetos y eventos.
La tecnología de sinopsis de video fue inventada por el profesor Shmuel Peleg [5] de la Universidad Hebrea de Jerusalén, Israel , y está siendo desarrollada bajo licencia comercial por BriefCam, Ltd. [6] BriefCam recibió una licencia para usar la tecnología de Yissum , que es el propietario de las patentes registradas para la tecnología. En mayo de 2018, BriefCam fue adquirida por el gigante japonés de imágenes digitales, Canon Inc. , por un estimado de $ 90 millones. [7] Los inversores en la empresa incluyen Motorola Solutions Venture Capital, Aviv Venture Capital y OurCrowd . [8]
.jpg/1280px-Video_Synopsis_before+after_(horizontal).jpg)
Los recientes avances en el campo de la sinopsis de videos han dado como resultado métodos que se centran en recopilar puntos clave (o fotogramas) del video largo sin cortes y presentarlos como una cadena de eventos clave que resumen el video. Este es solo uno de los muchos métodos empleados en la literatura moderna para realizar esta tarea. [9] Recientemente, estos métodos impulsados por eventos se han centrado en correlacionar objetos en fotogramas, pero de una manera más semánticamente relacionada que se ha llamado un método impulsado por la historia para resumir el video. Se ha demostrado que estos métodos funcionan bien para entornos egocéntricos [10] donde el video es básicamente una perspectiva del punto de vista de una sola persona o un grupo de personas.
Las técnicas de sinopsis de video tienen una serie de propiedades estandarizadas en común, que pueden cuantificarse de la siguiente manera: (a) la sinopsis de video debe contener la máxima actividad con la menor redundancia; (b) se debe preservar el orden cronológico y la consistencia espacial de los objetos en el espacio y el tiempo; (c) en el video de sinopsis resultante, debe haber una colisión mínima; y (d) el video de sinopsis debe ser fluido y permitir la visualización sin perder la región de interés. [11]