stringtranslate.com

Diseño experimental óptimo

Imagen de un hombre tomando medidas con un teodolito en un ambiente congelado.
Gustav Elfving desarrolló el diseño óptimo de experimentos, y así minimizó la necesidad de que los topógrafos tomaran mediciones con teodolito (en la foto) , mientras estaba atrapado en su tienda de campaña en una Groenlandia azotada por las tormentas . [1]

En el diseño de experimentos , los diseños experimentales óptimos (o diseños óptimos [2] ) son una clase de diseños experimentales que son óptimos con respecto a algún criterio estadístico . La creación de este campo de la estadística se le atribuye a la estadística danesa Kirstine Smith . [3] [4]

En el diseño de experimentos para la estimación de modelos estadísticos , los diseños óptimos permiten estimar parámetros sin sesgos y con mínima varianza . Un diseño no óptimo requiere un mayor número de ejecuciones experimentales para estimar los parámetros con la misma precisión que un diseño óptimo. En términos prácticos, los experimentos óptimos pueden reducir los costos de experimentación.

La optimalidad de un diseño depende del modelo estadístico y se evalúa con respecto a un criterio estadístico, que está relacionado con la matriz de varianza del estimador. Para especificar un modelo apropiado y una función de criterio adecuada es necesario comprender la teoría estadística y tener conocimientos prácticos sobre el diseño de experimentos .

Ventajas

Los diseños óptimos ofrecen tres ventajas sobre los diseños experimentales subóptimos : [5]

  1. Los diseños óptimos reducen los costos de experimentación al permitir estimar modelos estadísticos con menos ejecuciones experimentales.
  2. Los diseños óptimos pueden tener en cuenta múltiples tipos de factores, como factores de proceso, de mezcla y discretos.
  3. Los diseños se pueden optimizar cuando el espacio de diseño está restringido, por ejemplo, cuando el espacio del proceso matemático contiene configuraciones de factores que son prácticamente inviables (por ejemplo, debido a preocupaciones de seguridad).

Minimizar la varianza de los estimadores

Los diseños experimentales se evalúan utilizando criterios estadísticos. [6]

Se sabe que el estimador de mínimos cuadrados minimiza la varianza de los estimadores insesgados de media (bajo las condiciones del teorema de Gauss-Markov ). En la teoría de estimación para modelos estadísticos con un parámetro real , el recíproco de la varianza de un estimador ( "eficiente" ) se denomina " información de Fisher " para ese estimador. [7] Debido a esta reciprocidad, minimizar la varianza corresponde a maximizar la información .

Sin embargo, cuando el modelo estadístico tiene varios parámetros , la media del estimador de parámetros es un vector y su varianza es una matriz . La matriz inversa de la matriz de varianzas se denomina "matriz de información". Debido a que la varianza del estimador de un vector de parámetros es una matriz, el problema de "minimizar la varianza" es complicado. Utilizando la teoría estadística , los estadísticos comprimen la matriz de información utilizando estadísticas de resumen de valores reales ; al ser funciones de valores reales, estos "criterios de información" se pueden maximizar. [8] Los criterios de optimalidad tradicionales son invariantes de la matriz de información ; algebraicamente, los criterios de optimalidad tradicionales son funcionales de los valores propios de la matriz de información.

Otros criterios de optimalidad se refieren a la varianza de las predicciones :

Contrastes

En muchas aplicaciones, el estadístico se preocupa más por un "parámetro de interés" que por "parámetros molestos" . En términos más generales, los estadísticos consideran combinaciones lineales de parámetros, que se estiman mediante combinaciones lineales de medias de tratamiento en el diseño de experimentos y en el análisis de varianza ; dichas combinaciones lineales se denominan contrastes . Los estadísticos pueden utilizar criterios de optimalidad adecuados para dichos parámetros de interés y para los contrastes . [12]

Implementación

Existen catálogos de diseños óptimos en libros y bibliotecas de software.

Además, los principales sistemas estadísticos como SAS y R tienen procedimientos para optimizar un diseño según las especificaciones del usuario. El experimentador debe especificar un modelo para el diseño y un criterio de optimalidad antes de que el método pueda calcular un diseño óptimo. [13]

Consideraciones prácticas

Algunos temas avanzados en diseño óptimo requieren más teoría estadística y conocimientos prácticos en el diseño de experimentos.

Dependencia y robustez del modelo

Dado que el criterio de optimalidad de la mayoría de los diseños óptimos se basa en alguna función de la matriz de información, la "optimalidad" de un diseño determinado depende del modelo : si bien un diseño óptimo es el mejor para ese modelo , su rendimiento puede deteriorarse en otros modelos . En otros modelos , un diseño óptimo puede ser mejor o peor que un diseño no óptimo. [14] Por lo tanto, es importante comparar el rendimiento de los diseños con modelos alternativos . [15]

Elección de un criterio de optimalidad y robustez

La elección de un criterio de optimalidad adecuado requiere cierta reflexión, y es útil comparar el rendimiento de los diseños con respecto a varios criterios de optimalidad. Cornell escribe que

dado que los criterios [de optimalidad tradicional] . . . son criterios de minimización de la varianza, . . . un diseño que es óptimo para un modelo dado utilizando uno de los . . . criterios suele ser casi óptimo para el mismo modelo con respecto a los otros criterios.

—  [16]

De hecho, hay varias clases de diseños para los cuales todos los criterios de optimalidad tradicionales coinciden, según la teoría de "optimalidad universal" de Kiefer . [17] La ​​experiencia de profesionales como Cornell y la teoría de "optimalidad universal" de Kiefer sugieren que la robustez con respecto a los cambios en el criterio de optimalidad es mucho mayor que la robustez con respecto a los cambios en el modelo .

Criterios de optimalidad flexibles y análisis convexo

Los programas estadísticos de alta calidad ofrecen una combinación de bibliotecas de diseños óptimos o métodos iterativos para construir diseños aproximadamente óptimos, según el modelo especificado y el criterio de optimalidad. Los usuarios pueden utilizar un criterio de optimalidad estándar o pueden programar un criterio personalizado.

Todos los criterios de optimalidad tradicionales son funciones convexas (o cóncavas) y, por lo tanto, los diseños óptimos son susceptibles de la teoría matemática del análisis convexo y su cálculo puede utilizar métodos especializados de minimización convexa . [18] El profesional no necesita seleccionar exactamente un criterio de optimalidad tradicional, sino que puede especificar un criterio personalizado. En particular, el profesional puede especificar un criterio convexo utilizando los máximos de los criterios de optimalidad convexos y combinaciones no negativas de criterios de optimalidad (ya que estas operaciones preservan las funciones convexas ). Para los criterios de optimalidad convexos , el teorema de equivalencia de Kiefer - Wolfowitz permite al profesional verificar que un diseño dado es globalmente óptimo. [19] El teorema de equivalencia de Kiefer - Wolfowitz está relacionado con la conjugación de Legendre - Fenchel para funciones convexas . [20]

Si un criterio de optimalidad carece de convexidad , entonces encontrar un óptimo global y verificar su optimalidad suele ser difícil.

Incertidumbre del modelo y enfoques bayesianos

Selección de modelo

Cuando los científicos desean probar varias teorías, un estadístico puede diseñar un experimento que permita realizar pruebas óptimas entre modelos específicos. Estos "experimentos de discriminación" son especialmente importantes en la bioestadística que sustenta la farmacocinética y la farmacodinámica , siguiendo el trabajo de Cox y Atkinson. [21]

Diseño experimental bayesiano

Cuando los profesionales necesitan considerar múltiples modelos , pueden especificar una medida de probabilidad en los modelos y luego seleccionar cualquier diseño que maximice el valor esperado de dicho experimento. Estos diseños óptimos basados ​​en la probabilidad se denominan diseños bayesianos óptimos . Estos diseños bayesianos se utilizan especialmente para modelos lineales generalizados (donde la respuesta sigue una distribución de familia exponencial ). [22]

Sin embargo, el uso de un diseño bayesiano no obliga a los estadísticos a utilizar métodos bayesianos para analizar los datos. De hecho, a algunos investigadores no les gusta la etiqueta "bayesiana" para los diseños experimentales basados ​​en la probabilidad. [23] La terminología alternativa para la optimalidad "bayesiana" incluye la optimalidad "en promedio" o la optimalidad "poblacional".

Experimentación iterativa

La experimentación científica es un proceso iterativo y los estadísticos han desarrollado varios enfoques para el diseño óptimo de experimentos secuenciales.

Análisis secuencial

El análisis secuencial fue desarrollado por primera vez por Abraham Wald . [24] En 1972, Herman Chernoff escribió una descripción general de los diseños secuenciales óptimos, [25] mientras que los diseños adaptativos fueron estudiados más tarde por S. Zacks. [26] Por supuesto, gran parte del trabajo sobre el diseño óptimo de experimentos está relacionado con la teoría de decisiones óptimas , especialmente la teoría de decisiones estadísticas de Abraham Wald . [27]

Metodología de superficie de respuesta

Los diseños óptimos para los modelos de superficie de respuesta se analizan en el libro de texto de Atkinson, Donev y Tobias, en la encuesta de Gaffke y Heiligers y en el texto matemático de Pukelsheim. El bloqueo de los diseños óptimos se analiza en el libro de texto de Atkinson, Donev y Tobias y también en la monografía de Goos.

Los primeros diseños óptimos fueron desarrollados para estimar los parámetros de los modelos de regresión con variables continuas, por ejemplo, por J. D. Gergonne en 1815 (Stigler). En inglés, dos contribuciones tempranas fueron realizadas por Charles S. Peirce y Kirstine Smith.

George EP Box propuso diseños pioneros para superficies de respuesta multivariadas . Sin embargo, los diseños de Box tienen pocas propiedades de optimalidad. De hecho, el diseño de Box-Behnken requiere ejecuciones experimentales excesivas cuando el número de variables excede tres. [28] Los diseños "central-compuestos" de Box requieren más ejecuciones experimentales que los diseños óptimos de Kôno. [29]

Identificación de sistemas y aproximación estocástica

La optimización de la experimentación secuencial también se estudia en programación estocástica y en sistemas y control . Los métodos populares incluyen la aproximación estocástica y otros métodos de optimización estocástica . Gran parte de esta investigación se ha asociado con la subdisciplina de identificación de sistemas . [30] En control óptimo computacional, D. Judin y A. Nemirovskii y Boris Polyak han descrito métodos que son más eficientes que las reglas de tamaño de paso ( estilo Armijo ) introducidas por GEP Box en la metodología de superficie de respuesta . [31]

Los diseños adaptativos se utilizan en ensayos clínicos , y los diseños adaptativos óptimos se analizan en el capítulo Manual de diseños experimentales de Shelemyahu Zacks.

Especificación del número de ejecuciones experimentales

Usando una computadora para encontrar un buen diseño

Existen varios métodos para encontrar un diseño óptimo, dada una restricción a priori en el número de ejecuciones experimentales o réplicas. Algunos de estos métodos son analizados por Atkinson, Donev y Tobias y en el artículo de Hardin y Sloane . Por supuesto, fijar el número de ejecuciones experimentales a priori sería poco práctico. Los estadísticos prudentes examinan los otros diseños óptimos, cuyo número de ejecuciones experimentales difiere.

Discretización de diseños de medidas de probabilidad

En la teoría matemática de los experimentos óptimos, un diseño óptimo puede ser una medida de probabilidad que se apoya en un conjunto infinito de ubicaciones de observación. Estos diseños de medida de probabilidad óptima resuelven un problema matemático que no especifica el costo de las observaciones y las ejecuciones experimentales. No obstante, estos diseños de medida de probabilidad óptima pueden discretizarse para proporcionar diseños aproximadamente óptimos. [32]

En algunos casos, un conjunto finito de ubicaciones de observación es suficiente para sustentar un diseño óptimo. Este resultado fue demostrado por Kôno y Kiefer en sus trabajos sobre diseños de superficies de respuesta para modelos cuadráticos. El análisis de Kôno-Kiefer explica por qué los diseños óptimos para superficies de respuesta pueden tener soportes discretos, que son muy similares a los diseños menos eficientes que han sido tradicionales en la metodología de superficies de respuesta . [33]

Historia

En 1815, Joseph Diaz Gergonne publicó un artículo sobre diseños óptimos para regresión polinomial , según Stigler .

En 1876, Charles S. Peirce propuso una teoría económica de la experimentación científica que buscaba maximizar la precisión de las estimaciones. La asignación óptima de Peirce mejoró inmediatamente la precisión de los experimentos gravitacionales y fue utilizada durante décadas por Peirce y sus colegas. En su conferencia publicada en 1882 en la Universidad Johns Hopkins , Peirce introdujo el diseño experimental con estas palabras:

La lógica no se encargará de informarle qué tipo de experimentos debe hacer para determinar mejor la aceleración de la gravedad o el valor de Ohm; pero le dirá cómo proceder para formar un plan de experimentación.

[....] Desafortunadamente, la práctica generalmente precede a la teoría, y es el destino habitual de la humanidad hacer las cosas de alguna manera desconcertante primero, y descubrir después cómo se podrían haber hecho mucho más fácil y perfectamente. [34]

Kirstine Smith propuso diseños óptimos para modelos polinomiales en 1918. (Kirstine Smith había sido estudiante del estadístico danés Thorvald N. Thiele y estaba trabajando con Karl Pearson en Londres).

Véase también

Notas

  1. ^ Nordström (1999, pág. 176)
  2. ^ El adjetivo "óptimo" (y no "óptimo") "es la forma ligeramente más antigua en inglés y evita la construcción 'optim(um) + al'; no existe 'optimalis' en latín" (página x en Optimum Experimental Designs, con SAS , por Atkinson, Donev y Tobias).
  3. ^ Guttorp, P.; Lindgren, G. (2009). "Karl Pearson y la escuela escandinava de estadística". Revista estadística internacional . 77 : 64. CiteSeerX  10.1.1.368.8328 . doi :10.1111/j.1751-5823.2009.00069.x. S2CID  121294724.
  4. ^ Smith, Kirstine (1918). "Sobre las desviaciones estándar de los valores ajustados e interpolados de una función polinómica observada y sus constantes y la orientación que proporcionan hacia una elección adecuada de la distribución de las observaciones". Biometrika . 12 (1/2): 1–85. doi :10.2307/2331929. JSTOR  2331929.
  5. ^ Estas tres ventajas (de los diseños óptimos) están documentadas en el libro de texto de Atkinson, Donev y Tobias.
  6. ^ Estos criterios se denominan funciones objetivo en la teoría de optimización .
  7. ^ La información de Fisher y otras funciones de " información " son conceptos fundamentales en la teoría estadística .
  8. ^ Tradicionalmente, los estadísticos han evaluado estimadores y diseños considerando alguna estadística resumen de la matriz de covarianza (de un estimador insesgado de media ), usualmente con valores reales positivos (como el determinante o la traza de la matriz ). Trabajar con números reales positivos trae varias ventajas: Si el estimador de un solo parámetro tiene una varianza positiva, entonces la varianza y la información de Fisher son ambas números reales positivos; por lo tanto, son miembros del cono convexo de números reales no negativos (cuyos miembros distintos de cero tienen recíprocos en este mismo cono). Para varios parámetros, las matrices de covarianza y las matrices de información son elementos del cono convexo de matrices simétricas definidas no negativas en un espacio vectorial parcialmente ordenado , bajo el orden de Loewner (Löwner). Este cono es cerrado bajo la adición de matriz-matriz, bajo la inversión de matriz y bajo la multiplicación de números reales positivos y matrices. Una exposición de la teoría de matrices y el orden de Loewner aparece en Pukelsheim.
  9. ^ Shin, Yeonjong; Xiu, Dongbin (2016). "Selección de puntos cuasi-óptimos no adaptativos para regresión lineal de mínimos cuadrados". Revista SIAM de Computación Científica . 38 (1): A385–A411. Código Bibliográfico :2016SJSC...38A.385S. doi :10.1137/15M1015868.
  10. ^ Atkinson, AC; Fedorov, VV (1975). "El diseño de experimentos para discriminar entre dos modelos rivales". Biometrika . 62 (1): 57–70. doi :10.1093/biomet/62.1.57. ISSN  0006-3444.
  11. ^ Los criterios de optimalidad anteriores son funciones convexas en dominios de matrices semidefinidas positivas simétricas : consulte un libro de texto en línea para profesionales, que tiene muchas ilustraciones y aplicaciones estadísticas:
    • Boyd, Stephen P.; Vandenberghe, Lieven (2004). Optimización convexa (PDF) . Cambridge University Press. ISBN 978-0-521-83378-3. Recuperado el 15 de octubre de 2011 . (libro en pdf)
    Boyd y Vandenberghe analizan diseños experimentales óptimos en las páginas 384–396.
  12. ^ Atkinson, Donev y Tobias analizan los criterios de optimalidad para los "parámetros de interés" y para los contrastes .
  13. ^ Los métodos iterativos y los algoritmos de aproximación se analizan en el libro de texto de Atkinson, Donev y Tobias y en las monografías de Fedorov (histórico) y Pukelsheim, y en el artículo de revisión de Gaffke y Heiligers.
  14. ^ Véase Kiefer ("Diseños óptimos para el ajuste de superficies multirespuesta sesgadas", páginas 289-299).
  15. ^ Esta evaluación comparativa se analiza en el libro de texto de Atkinson et al. y en los artículos de Kiefer. Chang y Notz estudian los diseños robustos de modelos (incluidos los diseños "bayesianos").
  16. ^ Cornell, John (2002). Experimentos con mezclas: diseños, modelos y análisis de datos de mezclas (tercera edición). Wiley. ISBN 978-0-471-07916-3.(Páginas 400-401)
  17. ^ En el libro de texto de Atkinson, Donev y Tobias aparece una introducción a la "optimalidad universal". En el libro de texto avanzado de Pukelsheim y en los artículos de Kiefer se ofrecen exposiciones más detalladas.
  18. ^ Los métodos computacionales son analizados por Pukelsheim y por Gaffke y Heiligers.
  19. ^ El teorema de equivalencia de Kiefer - Wolfowitz se analiza en el Capítulo 9 de Atkinson, Donev y Tobias.
  20. ^ Pukelsheim utiliza el análisis convexo para estudiar el teorema de equivalencia de Kiefer - Wolfowitz en relación con la conjugación de Legendre - Fenchel para funciones convexas. La minimización de funciones convexas en dominios de matrices semidefinidas positivas simétricas se explica en un libro de texto en línea para profesionales, que tiene muchas ilustraciones y aplicaciones estadísticas:
    • Optimización convexa. Cambridge University Press. 2004. (libro en pdf)
    Boyd y Vandenberghe analizan diseños experimentales óptimos en las páginas 384–396.
  21. ^ Véase el Capítulo 20 en Atkinison, Donev y Tobias.
  22. ^ Atkinson, Donev y Tobias analizan los diseños bayesianos en el capítulo 18 del libro de texto. En la monografía de Fedorov y Hackl y en los artículos de Chaloner y Verdinelli y de DasGupta se ofrecen análisis más avanzados. Chang y Notz analizan los diseños bayesianos y otros aspectos de los diseños "robustos a los modelos".
  23. ^ Como alternativa a la " optimalidad bayesiana ", Fedorov y Hackl defienden la "optimalidad promedio ".
  24. ^ Wald, Abraham (junio de 1945). "Pruebas secuenciales de hipótesis estadísticas". Anales de estadística matemática . 16 (2): 117–186. doi : 10.1214/aoms/1177731118 . JSTOR  2235829.
  25. ^ Chernoff, H. (1972) Análisis secuencial y diseño óptimo, Monografía SIAM.
  26. ^ Zacks, S. (1996) "Diseños adaptativos para modelos paramétricos". En: Ghosh, S. y Rao, CR, (Eds) (1996). Diseño y análisis de experimentos, Manual de estadística, volumen 13. Holanda del Norte. ISBN 0-444-82061-2 . (páginas 151–180) 
  27. ^ Henry P. Wynn escribió: "La teoría moderna del diseño óptimo tiene sus raíces en la escuela de teoría de la decisión de las estadísticas estadounidenses fundada por Abraham Wald " en su introducción "Contribuciones de Jack Kiefer al diseño experimental", que se encuentra en las páginas xvii-xxiv del siguiente volumen:Kiefer reconoce la influencia y los resultados de Wald en muchas páginas: 273 (página 55 en el volumen reimpreso), 280 (62), 289-291 (71-73), 294 (76), 297 (79), 315 (97) 319 (101) – en este artículo:
    • Kiefer, J. (1959). "Diseños experimentales óptimos". Revista de la Royal Statistical Society, Serie B. 21 : 272–319.
  28. ^ En el campo de la metodología de superficies de respuesta , Wu y Hamada señalan la ineficiencia del diseño de Box-Behnken (página 422).
    • Wu, CF Jeff y Hamada, Michael (2002). Experimentos: planificación, análisis y optimización del diseño de parámetros . Wiley. ISBN 978-0-471-25511-6.
    Wu y Hamada analizan diseños óptimos para experimentos de "seguimiento".
  29. ^ Atkinson, Donev y Tobias (página 165) analizan la ineficiencia de los diseños "central-compuestos" de Box . Estos autores también analizan el bloqueo de los diseños de tipo Kôno para superficies de respuesta cuadráticas .
  30. ^ En identificación de sistemas, los siguientes libros tienen capítulos sobre diseño experimental óptimo:
  31. ^ Algunas reglas de tamaño de paso para Judin y Nemirovskii y para Polyak Archivado el 31 de octubre de 2007 en Wayback Machine se explican en el libro de texto de Kushner y Yin:
  32. ^ Atkinson, Donev y Tobias, así como Pukelsheim (especialmente en el Capítulo 12), analizan la discretización de diseños de medidas de probabilidad óptimas para proporcionar diseños aproximadamente óptimos.
  33. ^ En cuanto a los diseños de superficies de respuesta cuadráticas , los resultados de Kôno y Kiefer se analizan en Atkinson, Donev y Tobias. Matemáticamente, dichos resultados se asocian con polinomios de Chebyshev , "sistemas de Markov" y "espacios de momentos": Véase
  34. ^ Peirce, CS (1882), "Introductory Lecture on the Study of Logic" dictada en septiembre de 1882, publicada en Johns Hopkins University Circulars , v. 2, n. 19, págs. 11-12, noviembre de 1882, véase pág. 11, Google Books Eprint. Reimpreso en Collected Papers v. 7, párrafos 59-76, véase 59, 63, Writings of Charles S. Peirce v. 4, págs. 378-82, véanse 378, 379, y The Essential Peirce v. 1, págs. 210-14, véase 210-1, también más abajo en 211.

Referencias

Lectura adicional

Libros de texto para profesionales y estudiantes

Libros de texto que enfatizan la metodología de regresión y superficie de respuesta

El libro de texto de Atkinson, Donev y Tobias se ha utilizado en cursos cortos para profesionales industriales, así como en cursos universitarios.

Libros de texto que enfatizan los diseños de bloques

Bailey y Bapat analizan los diseños de bloques óptimos . El primer capítulo del libro de Bapat analiza el álgebra lineal que utiliza Bailey (o los libros avanzados que se mencionan a continuación). Los ejercicios de Bailey y el análisis de la aleatorización hacen hincapié en los conceptos estadísticos (en lugar de los cálculos algebraicos).

Los diseños de bloques óptimos se analizan en la monografía avanzada de Shah y Sinha y en los artículos de investigación de Cheng y Majumdar.

Libros para estadísticos e investigadores profesionales

Artículos y capítulos

Histórico