La puntuación de opinión media (MOS) es una medida utilizada en el ámbito de la calidad de la experiencia y la ingeniería de telecomunicaciones , que representa la calidad general de un estímulo o sistema. Es la media aritmética de todos los "valores individuales en una escala predefinida que un sujeto asigna a su opinión sobre el desempeño de la calidad de un sistema". [1] Estas calificaciones generalmente se recopilan en una prueba de evaluación de calidad subjetiva , pero también pueden estimarse algorítmicamente.
MOS es una medida comúnmente utilizada para la evaluación de la calidad de video, audio y audiovisual, pero no se limita a esas modalidades. El UIT-T ha definido varias formas de referirse a un MOS en la Recomendación UIT-T P.800.1, dependiendo de si la puntuación se obtuvo de pruebas de calidad audiovisual, conversacional, auditiva, hablada o de vídeo.
El MOS se expresa como un número racional único, normalmente en el rango de 1 a 5, donde 1 es la calidad percibida más baja y 5 es la calidad percibida más alta. También son posibles otros rangos de MOS, dependiendo de la escala de calificación que se haya utilizado en la prueba subyacente. La escala de calificación de categoría absoluta se usa con mucha frecuencia, que asigna calificaciones entre malas y excelentes a números entre 1 y 5, como se ve en la siguiente tabla.
En las Recomendaciones UIT-T existen otras escalas de calificación de calidad estandarizadas (como UIT-T P.800 o UIT-T P.910). Por ejemplo, se podría utilizar una escala continua que oscilara entre 1 y 100. La escala que se utilice depende del propósito de la prueba. En determinados contextos no existen diferencias estadísticamente significativas entre las valoraciones de los mismos estímulos cuando se obtienen utilizando diferentes escalas. [2]
El MOS se calcula como la media aritmética de calificaciones individuales realizadas por sujetos humanos para un estímulo determinado en una prueba de evaluación de calidad subjetiva . De este modo:
¿Dónde están las calificaciones individuales para un estímulo determinado por sujetos?
El MOS está sujeto a ciertas propiedades y sesgos matemáticos. En general, existe un debate en curso sobre la utilidad del MOS para cuantificar la Calidad de la Experiencia en un único valor escalar. [3]
Cuando el MOS se adquiere utilizando escalas de calificación categóricas, se basa, de manera similar a las escalas Likert , en una escala ordinal . En este caso, se conoce la clasificación de los ítems de la escala, pero no su intervalo. Por lo tanto, es matemáticamente incorrecto calcular una media sobre calificaciones individuales para obtener la tendencia central; en su lugar se debe utilizar la mediana. [4] Sin embargo, en la práctica y en la definición de MOS, se considera aceptable calcular la media aritmética.
Se ha demostrado que en las escalas de calificación categóricas (como la ACR), los sujetos no perciben los elementos individuales de forma equidistante. Por ejemplo, puede haber una "brecha" mayor entre Bueno y Regular que entre Bueno y Excelente . La distancia percibida también puede depender del idioma al que se traduzca la escala. [5] Sin embargo, existen estudios que no pudieron demostrar un impacto significativo de la traducción de escala en los resultados obtenidos. [6]
Varios otros sesgos están presentes en la forma en que normalmente se adquieren las calificaciones MOS. [7] Además de los problemas mencionados anteriormente con las escalas que se perciben de forma no lineal, existe el llamado "sesgo de ecualización de rango": los sujetos, en el transcurso de un experimento subjetivo, tienden a dar puntuaciones que abarcan el escala de calificación completa. Esto hace imposible comparar dos pruebas subjetivas diferentes si el rango de calidad presentado difiere. En otras palabras, el MOS nunca es una medida absoluta de calidad, sino sólo relativa a la prueba en la que se ha adquirido.
Por las razones anteriores (y debido a varios otros factores contextuales que influyen en la calidad percibida en una prueba subjetiva), un valor de MOS solo debe informarse si también se conoce y se informa el contexto en el que se recopilaron los valores. Por lo tanto, los valores de MOS recopilados en diferentes contextos y diseños de prueba no deben compararse directamente. La Recomendación UIT-T P.800.2 prescribe cómo deben notificarse los valores de MOS. Específicamente, P.800.2 dice:
No tiene sentido comparar directamente los valores de MOS producidos a partir de experimentos separados, a menos que esos experimentos hayan sido diseñados explícitamente para ser comparados, e incluso entonces los datos deben analizarse estadísticamente para garantizar que dicha comparación sea válida.
Históricamente, MOS se origina a partir de mediciones subjetivas en las que los oyentes se sentaban en una "habitación tranquila" y calificaban la calidad de una llamada telefónica tal como la percibían. Este tipo de metodología de prueba se utiliza en la industria telefónica desde hace décadas y está estandarizada en la Recomendación UIT-T P.800. Especifica que "el hablante debe estar sentado en una habitación silenciosa con un volumen de entre 30 y 120 m³ y un tiempo de reverberación inferior a 500 ms (preferiblemente en el rango de 200 a 300 ms). El nivel de ruido de la habitación debe ser inferior a 30 dBA sin picos dominantes en el espectro." Los requisitos para otras modalidades se especificaron de manera similar en Recomendaciones UIT-T posteriores.
Obtener calificaciones MOS puede llevar mucho tiempo y ser costoso, ya que requiere la contratación de evaluadores humanos. Para diversos casos de uso, como el desarrollo de códecs o el seguimiento de la calidad del servicio (donde la calidad debe estimarse de forma repetida y automática), las puntuaciones de MOS también se pueden predecir mediante modelos de calidad objetivos , que normalmente se han desarrollado y entrenado utilizando clasificaciones de MOS humanas. Una pregunta que surge al usar tales modelos es si las diferencias MOS producidas son perceptibles para los usuarios. Por ejemplo, al calificar imágenes en una escala MOS de cinco puntos, se espera que una imagen con un MOS igual a 5 sea notablemente mejor en calidad que una con un MOS igual a 1. Por el contrario, no es evidente si una imagen con un MOS igual a 3,8 tiene una calidad notablemente mejor que uno con un MOS igual a 3,6. La investigación realizada para determinar la diferencia de MOS más pequeña perceptible para los usuarios en fotografías digitales mostró que se requiere una diferencia de MOS de aproximadamente 0,46 para que el 75% de los usuarios puedan detectar la imagen de mayor calidad. [8] Sin embargo, la expectativa de calidad de imagen, y por lo tanto MOS, cambia con el tiempo con el cambio de expectativas del usuario. Como resultado, las diferencias mínimas perceptibles de MOS determinadas utilizando métodos analíticos como en [8] pueden cambiar con el tiempo.
