Un formato de codificación de video [a] (o, a veces, formato de compresión de video ) es un formato de representación de contenido de video digital , como en un archivo de datos o flujo de bits . Por lo general, utiliza un algoritmo de compresión de video estandarizado , generalmente basado en codificación de transformación de coseno discreto (DCT) y compensación de movimiento . Una implementación de software, firmware o hardware específica capaz de comprimir o descomprimir en un formato de codificación de video específico se denomina códec de video .
Algunos formatos de codificación de vídeo están documentados mediante un documento de especificaciones técnicas detalladas conocido como especificación de codificación de vídeo . Algunas de estas especificaciones están escritas y aprobadas por organizaciones de estandarización como estándares técnicos y, por lo tanto, se las conoce como estándar de codificación de video . Hay normas de facto y normas formales.
El contenido de video codificado usando un formato de codificación de video particular normalmente se incluye con una secuencia de audio (codificada usando un formato de codificación de audio ) dentro de un formato contenedor multimedia como AVI , MP4 , FLV , RealMedia o Matroska . Como tal, el usuario normalmente no tiene un archivo H.264 , sino un archivo de vídeo que es un contenedor MP4 de vídeo codificado en H.264, normalmente junto con audio codificado en AAC . Los formatos de contenedores multimedia pueden contener uno de varios formatos de codificación de vídeo diferentes; por ejemplo, el formato contenedor MP4 puede contener formatos de codificación de vídeo como MPEG-2 Parte 2 o H.264. Otro ejemplo es la especificación inicial para el tipo de archivo WebM , que especifica el formato del contenedor (Matroska), pero también exactamente qué formato de compresión de vídeo ( VP8 ) y audio ( Vorbis ) está dentro del contenedor Matroska, aunque Matroska es capaz de contener VP9. Posteriormente se agregó soporte de video y audio Opus a la especificación WebM .
Un formato es el plan de diseño de los datos producidos o consumidos por un códec .
Aunque los formatos de codificación de vídeo como H.264 a veces se denominan códecs , existe una clara diferencia conceptual entre una especificación y sus implementaciones. Los formatos de codificación de video se describen en las especificaciones, y el software, firmware o hardware para codificar/decodificar datos en un formato de codificación de video determinado desde/hacia video sin comprimir son implementaciones de esas especificaciones. Como analogía, el formato de codificación de vídeo H.264 (especificación) es para el códec OpenH264 (implementación específica) lo que el lenguaje de programación C (especificación) es para el compilador GCC (implementación específica). Tenga en cuenta que para cada especificación (por ejemplo, H.264 ), puede haber muchos códecs que implementen esa especificación (por ejemplo, productos e implementaciones x264 , OpenH264, H.264/MPEG-4 AVC ).
Esta distinción no se refleja consistentemente terminológicamente en la literatura. La especificación H.264 llama a los estándares de codificación de vídeo H.261 , H.262 , H.263 y H.264 y no contiene la palabra códec . [2] La Alliance for Open Media distingue claramente entre el formato de codificación de video AV1 y el códec que lo acompaña que están desarrollando, pero llama al formato de codificación de video en sí una especificación de códec de video . [3] La especificación VP9 llama códec al formato de codificación de vídeo VP9 . [4]
Como ejemplo de combinación, las páginas de Chromium [5] y Mozilla [6] que enumeran su formato de video admiten ambos formatos de codificación de video, como los códecs H.264 . Como otro ejemplo, en el anuncio de Cisco de un códec de video gratuito, el comunicado de prensa se refiere al formato de codificación de video H.264 como un códec ("elección de un códec de video común"), pero llama a la implementación de Cisco de un codificador/decodificador H.264 y un códec poco después ("nuestro códec H.264 de código abierto"). [7]
Un formato de codificación de vídeo no dicta todos los algoritmos utilizados por un códec que implementa el formato. Por ejemplo, una gran parte de cómo funciona típicamente la compresión de video es encontrar similitudes entre fotogramas de video (coincidencia de bloques) y luego lograr la compresión copiando subimágenes similares previamente codificadas (como macrobloques ) y agregando pequeñas diferencias cuando sea necesario. Encontrar combinaciones óptimas de dichos predictores y diferencias es un problema NP-difícil , [8] lo que significa que es prácticamente imposible encontrar una solución óptima. Aunque el formato de codificación de vídeo debe admitir dicha compresión entre fotogramas en el formato de flujo de bits, al no exigir innecesariamente algoritmos específicos para encontrar dichas coincidencias de bloques y otros pasos de codificación, los códecs que implementan la especificación de codificación de vídeo tienen cierta libertad para optimizar e innovar en su elección. de algoritmos. Por ejemplo, la sección 0.5 de la especificación H.264 dice que los algoritmos de codificación no forman parte de la especificación. [2] La libre elección del algoritmo también permite diferentes compensaciones de complejidad espacio-temporal para el mismo formato de codificación de vídeo, por lo que una transmisión en vivo puede utilizar un algoritmo rápido pero ineficiente en términos de espacio, y una codificación de DVD de una sola vez para una producción en masa posterior puede Cambie el tiempo de codificación prolongado por una codificación que aproveche el espacio.
El concepto de compresión de vídeo analógico se remonta a 1929, cuando RD Kell en Gran Bretaña propuso el concepto de transmitir sólo las partes de la escena que cambiaban de un cuadro a otro. El concepto de compresión de vídeo digital se remonta a 1952, cuando los investigadores de los Laboratorios Bell, BM Oliver y CW Harrison, propusieron el uso de modulación diferencial de código de pulso (DPCM) en la codificación de vídeo. En 1959, el concepto de compensación de movimiento entre cuadros fue propuesto por los investigadores de la NHK Y. Taki, M. Hatori y S. Tanaka, quienes propusieron una codificación de video predictiva entre cuadros en la dimensión temporal . [9] En 1967, los investigadores de la Universidad de Londres AH Robinson y C. Cherry propusieron la codificación de longitud de ejecución (RLE), un esquema de compresión sin pérdidas , para reducir el ancho de banda de transmisión de señales de televisión analógicas . [10]
Los primeros algoritmos de codificación de vídeo digital eran para vídeo sin comprimir o utilizaban compresión sin pérdidas , ambos métodos ineficientes y poco prácticos para la codificación de vídeo digital. [11] [12] El vídeo digital se introdujo en la década de 1970, [11] inicialmente utilizando modulación de código de pulso (PCM) sin comprimir que requería altas velocidades de bits de alrededor de 45 a 200 Mbit/s para vídeo de definición estándar (SD), [11] [ 12] , que era hasta 2.000 veces mayor que el ancho de banda de telecomunicaciones (hasta 100 kbit/s ) disponible hasta la década de 1990. [12] De manera similar, el vídeo de alta definición (HD) 1080p sin comprimir requiere velocidades de bits superiores a 1 Gbit/s , significativamente mayores que el ancho de banda disponible en la década de 2000. [13]
La compresión de vídeo práctica surgió con el desarrollo de la codificación DCT con compensación de movimiento (MC DCT), [12] [11] también llamada compensación de movimiento en bloque (BMC) [9] o compensación de movimiento DCT. Este es un algoritmo de codificación híbrido, [9] que combina dos técnicas clave de compresión de datos : codificación por transformada de coseno discreta (DCT) [12] [11] en la dimensión espacial y compensación predictiva de movimiento en la dimensión temporal . [9]
La codificación DCT es una técnica de codificación por transformación de compresión de bloques con pérdida que fue propuesta por primera vez por Nasir Ahmed , quien inicialmente la pensó para la compresión de imágenes , mientras trabajaba en la Universidad Estatal de Kansas en 1972. Luego, Ahmed la desarrolló hasta convertirla en un algoritmo práctico de compresión de imágenes con T. Natarajan y KR Rao en la Universidad de Texas en 1973 y se publicó en 1974. [14] [15] [16]
El otro avance clave fue la codificación híbrida con compensación de movimiento. [9] En 1974, Ali Habibi de la Universidad del Sur de California introdujo la codificación híbrida, [17] [18] [19] que combina la codificación predictiva con la codificación por transformación. [9] [20] Examinó varias técnicas de codificación de transformadas, incluida la DCT, la transformada de Hadamard , la transformada de Fourier , la transformada inclinada y la transformada de Karhunen-Loeve . [17] Sin embargo, su algoritmo se limitó inicialmente a la codificación intra-cuadro en la dimensión espacial. En 1975, John A. Roese y Guner S. Robinson ampliaron el algoritmo de codificación híbrida de Habibi a la dimensión temporal, utilizando codificación de transformación en la dimensión espacial y codificación predictiva en la dimensión temporal, desarrollando una codificación híbrida con compensación de movimiento entre cuadros . [9] [21] Para la codificación de transformadas espaciales, experimentaron con diferentes transformadas, incluida la DCT y la transformada rápida de Fourier (FFT), desarrollaron codificadores híbridos entre cuadros para ellas y descubrieron que la DCT es la más eficiente debido a su complejidad reducida, capaz de comprimir datos de imagen hasta 0,25 bits por píxel para una escena de videoteléfono con una calidad de imagen comparable a la de un codificador intracuadro típico que requiere 2 bits por píxel. [22] [21]
La DCT fue aplicada a la codificación de vídeo por Wen-Hsiung Chen, [23] quien desarrolló un algoritmo DCT rápido con CH Smith y SC Fralick en 1977, [24] [25] y fundó Compression Labs para comercializar la tecnología DCT. [23] En 1979, Anil K. Jain y Jaswant R. Jain desarrollaron aún más la compresión de vídeo DCT con compensación de movimiento. [26] [9] Esto llevó a Chen a desarrollar un algoritmo práctico de compresión de video, llamado DCT con compensación de movimiento o codificación de escena adaptativa, en 1981. [9] La DCT con compensación de movimiento se convirtió más tarde en la técnica de codificación estándar para la compresión de video desde finales de la década de 1980. adelante. [11] [27]
El primer estándar de codificación de vídeo digital fue H.120 , desarrollado por el CCITT (ahora ITU-T) en 1984. [28] H.120 no se podía utilizar en la práctica porque su rendimiento era demasiado pobre. [28] H.120 utilizó codificación DPCM con compensación de movimiento, [9] un algoritmo de compresión sin pérdidas que era ineficaz para la codificación de vídeo. [11] A finales de la década de 1980, varias empresas comenzaron a experimentar con la codificación por transformada de coseno discreta (DCT), una forma mucho más eficiente de compresión para la codificación de vídeo. El CCITT recibió 14 propuestas para formatos de compresión de vídeo basados en DCT, en contraste con una sola propuesta basada en compresión de cuantificación vectorial (VQ). El estándar H.261 se desarrolló basándose en la compresión DCT con compensación de movimiento. [11] [27] H.261 fue el primer estándar práctico de codificación de vídeo, [28] y utiliza patentes con licencia de varias empresas, incluidas Hitachi , PictureTel , NTT , BT y Toshiba , entre otras. [29] Desde H.261, la compresión DCT con compensación de movimiento ha sido adoptada por todos los principales estándares de codificación de vídeo (incluidos los formatos H.26x y MPEG ) que siguieron. [11] [27]
MPEG-1 , desarrollado por Motion Picture Experts Group (MPEG), le siguió en 1991 y fue diseñado para comprimir vídeo con calidad VHS . [28] Fue sucedido en 1994 por MPEG-2 / H.262 , [28] que fue desarrollado con patentes con licencia de varias empresas, principalmente Sony , Thomson y Mitsubishi Electric . [30] MPEG-2 se convirtió en el formato de vídeo estándar para la televisión digital DVD y SD . [28] Su algoritmo DCT con compensación de movimiento fue capaz de alcanzar una relación de compresión de hasta 100:1, lo que permitió el desarrollo de tecnologías de medios digitales como el vídeo bajo demanda (VOD) [12] y la televisión de alta definición (HDTV). ). [31] En 1999, le siguió MPEG-4 / H.263 , que supuso un gran avance para la tecnología de compresión de vídeo. [28] Utiliza patentes con licencia de varias empresas, principalmente Mitsubishi, Hitachi y Panasonic . [32]
El formato de codificación de vídeo más utilizado en 2019 [actualizar]es H.264/MPEG-4 AVC . [33] Fue desarrollado en 2003 y utiliza patentes con licencia de varias organizaciones, principalmente Panasonic, Godo Kaisha IP Bridge y LG Electronics . [34] A diferencia del DCT estándar utilizado por sus predecesores, AVC utiliza el número entero DCT . [23] [35] H.264 es uno de los estándares de codificación de vídeo para discos Blu-ray ; Todos los reproductores de Blu-ray Disc deben poder decodificar H.264. También es ampliamente utilizado para la transmisión de fuentes de Internet, como videos de YouTube , Netflix , Vimeo y iTunes Store , software web como Adobe Flash Player y Microsoft Silverlight , y también varias transmisiones de HDTV a través de tierra ( estándares del Comité de Sistemas de Televisión Avanzado). , ISDB-T , DVB-T o DVB-T2 ), cable ( DVB-C ) y satélite ( DVB-S2 ). [36]
Un problema principal para muchos formatos de codificación de vídeo han sido las patentes , lo que encarece su uso o corre el riesgo potencial de una demanda por patentes debido a patentes submarinas . La motivación detrás de muchos formatos de codificación de video diseñados recientemente, como Theora , VP8 y VP9, ha sido crear un estándar de codificación de video ( libre ) cubierto únicamente por patentes libres de regalías. [37] El estado de la patente también ha sido un punto importante de controversia para la elección de qué formatos de video admitirán los principales navegadores web dentro de la etiqueta de video HTML5 .
El formato de codificación de vídeo de generación actual es HEVC (H.265), introducido en 2013. AVC utiliza el DCT entero con tamaños de bloque de 4x4 y 8x8, y HEVC utiliza transformaciones DCT y DST enteras con tamaños de bloque variados entre 4x4 y 32x32. [38] HEVC está fuertemente patentado, principalmente por Samsung Electronics , GE , NTT y JVC Kenwood . [39] Lo cuestiona el formato AV1 , destinado a la licencia gratuita. A partir de 2019 [actualizar], AVC es, con diferencia, el formato más utilizado para la grabación, compresión y distribución de contenido de vídeo, utilizado por el 91 % de los desarrolladores de vídeo, seguido de HEVC, que utiliza el 43 % de los desarrolladores. [33]
El vídeo de consumo generalmente se comprime utilizando códecs de vídeo con pérdida , ya que eso da como resultado archivos significativamente más pequeños que la compresión sin pérdida . Algunos formatos de codificación de video están diseñados explícitamente para compresión con o sin pérdidas, y algunos formatos de codificación de video, como Dirac y H.264 , admiten ambos. [49]
Los formatos de vídeo sin comprimir , como Clean HDMI , son una forma de vídeo sin pérdidas que se utiliza en algunas circunstancias, como cuando se envía vídeo a una pantalla a través de una conexión HDMI . Algunas cámaras de alta gama también pueden capturar vídeo directamente en este formato.
La compresión entre cuadros complica la edición de una secuencia de video codificada. [50] Una subclase de formatos de codificación de vídeo relativamente simples son los formatos de vídeo intra-cuadro , como DV , en los que cada fotograma del flujo de vídeo se comprime de forma independiente sin hacer referencia a otros fotogramas del flujo, y no se intenta tomarlos. Aprovecha las correlaciones entre imágenes sucesivas a lo largo del tiempo para una mejor compresión. Un ejemplo es Motion JPEG , que es simplemente una secuencia de imágenes comprimidas individualmente en JPEG . Este enfoque es rápido y sencillo, a expensas de que el vídeo codificado sea mucho más grande que un formato de codificación de vídeo que soporte la codificación entre cuadros .
Debido a que la compresión entre cuadros copia datos de un cuadro a otro, si el cuadro original simplemente se corta (o se pierde en la transmisión), los cuadros siguientes no se pueden reconstruir correctamente. Hacer 'cortes' en vídeo comprimido intracuadro mientras se edita vídeo es casi tan fácil como editar vídeo sin comprimir: uno encuentra el principio y el final de cada fotograma, y simplemente copia bit a bit cada fotograma que desea conservar, y descarta el marcos que uno no quiere. Otra diferencia entre la compresión intracuadro e intercuadro es que, con los sistemas intracuadro, cada cuadro utiliza una cantidad similar de datos. En la mayoría de los sistemas entre cuadros, ciertos cuadros (como los " cuadros I " en MPEG-2 ) no pueden copiar datos de otros cuadros, por lo que requieren muchos más datos que otros cuadros cercanos. [51]
Es posible crear un editor de vídeo basado en computadora que detecte los problemas causados cuando se editan fotogramas I mientras que otros los necesitan. Esto ha permitido utilizar formatos más nuevos como HDV para la edición. Sin embargo, este proceso exige mucha más potencia informática que editar vídeo comprimido intraframe con la misma calidad de imagen. Pero esta compresión no es muy efectiva para ningún formato de audio. [52]
Un formato de codificación de video puede definir restricciones opcionales para el video codificado, llamadas perfiles y niveles. Es posible tener un decodificador que sólo admita la decodificación de un subconjunto de perfiles y niveles de un formato de vídeo determinado, por ejemplo para hacer que el programa/hardware decodificador sea más pequeño, más simple o más rápido. [53]
Un perfil restringe qué técnicas de codificación están permitidas. Por ejemplo, el formato H.264 incluye los perfiles baseline , main y high (y otros). Si bien los sectores P (que se pueden predecir en función de los sectores anteriores) se admiten en todos los perfiles, los sectores B (que se pueden predecir en función de los sectores anteriores y siguientes) se admiten en los perfiles principal y superior , pero no en la línea de base . [54]
Un nivel es una restricción de parámetros como la resolución máxima y las velocidades de datos. [54]
Un avance significativo en la metodología de codificación de imágenes se produjo con la introducción del concepto de codificación de transformación híbrida/DPCM (Habibi, 1974).
H.263 es similar a H.261, pero más complejo. Actualmente es el estándar internacional de compresión de vídeo más utilizado para videotelefonía en líneas telefónicas RDSI (Red Digital de Servicios Integrados).