stringtranslate.com

Diseño experimental óptimo.

Imagen de un hombre tomando medidas con un teodolito en un ambiente helado.
Gustav Elfving desarrolló el diseño óptimo de los experimentos, y así minimizó la necesidad de los topógrafos de realizar mediciones con teodolito (en la foto) , mientras estaba atrapado en su tienda de campaña en una Groenlandia azotada por tormentas . [1]

En el diseño de experimentos , los diseños experimentales óptimos (o diseños óptimos [2] ) son una clase de diseños experimentales que son óptimos con respecto a algún criterio estadístico . La creación de este campo de la estadística se atribuye a la estadística danesa Kirstine Smith . [3] [4]

En el diseño de experimentos para la estimación de modelos estadísticos , los diseños óptimos permiten estimar los parámetros sin sesgos y con una varianza mínima . Un diseño no óptimo requiere un mayor número de corridas experimentales para estimar los parámetros con la misma precisión que un diseño óptimo. En términos prácticos, los experimentos óptimos pueden reducir los costos de la experimentación.

La optimización de un diseño depende del modelo estadístico y se evalúa con respecto a un criterio estadístico, que está relacionado con la matriz de varianzas del estimador. Especificar un modelo apropiado y especificar una función de criterio adecuada requieren comprensión de la teoría estadística y conocimiento práctico en el diseño de experimentos .

Ventajas

Los diseños óptimos ofrecen tres ventajas sobre los diseños experimentales subóptimos : [5]

  1. Los diseños óptimos reducen los costos de la experimentación al permitir que los modelos estadísticos se estimen con menos ejecuciones experimentales.
  2. Los diseños óptimos pueden adaptarse a múltiples tipos de factores, como factores de proceso, de mezcla y discretos.
  3. Los diseños se pueden optimizar cuando el espacio de diseño está restringido, por ejemplo, cuando el espacio de proceso matemático contiene configuraciones de factores que son prácticamente inviables (por ejemplo, debido a preocupaciones de seguridad).

Minimizar la varianza de los estimadores.

Los diseños experimentales se evalúan utilizando criterios estadísticos. [6]

Se sabe que el estimador de mínimos cuadrados minimiza la varianza de los estimadores insesgados de la media (bajo las condiciones del teorema de Gauss-Markov ). En la teoría de estimación para modelos estadísticos con un parámetro real , el recíproco de la varianza de un estimador ( "eficiente" ) se denomina " información de Fisher " para ese estimador. [7] Debido a esta reciprocidad, minimizar la varianza corresponde a maximizar la información .

Sin embargo, cuando el modelo estadístico tiene varios parámetros , la media del estimador de parámetros es un vector y su varianza es una matriz . La matriz inversa de la matriz de varianza se llama "matriz de información". Debido a que la varianza del estimador de un vector de parámetros es una matriz, el problema de "minimizar la varianza" es complicado. Utilizando la teoría estadística , los estadísticos comprimen la matriz de información utilizando estadísticas resumidas de valor real ; Al ser funciones de valor real, estos "criterios de información" pueden maximizarse. [8] Los criterios de optimización tradicionales son invariantes de la matriz de información ; Algebraicamente, los criterios de optimización tradicionales son funcionales de los valores propios de la matriz de información.

Otros criterios de optimización se refieren a la varianza de las predicciones :

Contrastes

En muchas aplicaciones, al estadístico le preocupa más un "parámetro de interés" que los "parámetros molestos" . De manera más general, los estadísticos consideran combinaciones lineales de parámetros, que se estiman mediante combinaciones lineales de medias de tratamiento en el diseño de experimentos y en el análisis de varianza ; Estas combinaciones lineales se denominan contrastes . Los estadísticos pueden utilizar criterios de optimización apropiados para dichos parámetros de interés y para los contrastes . [12]

Implementación

Los catálogos de diseños óptimos se encuentran en libros y bibliotecas de software.

Además, los principales sistemas estadísticos como SAS y R tienen procedimientos para optimizar un diseño de acuerdo con las especificaciones del usuario. El experimentador debe especificar un modelo para el diseño y un criterio de optimización antes de que el método pueda calcular un diseño óptimo. [13]

Consideraciones prácticas

Algunos temas avanzados en diseño óptimo requieren más teoría estadística y conocimiento práctico en el diseño de experimentos.

Dependencia y robustez del modelo.

Dado que el criterio de optimización de la mayoría de los diseños óptimos se basa en alguna función de la matriz de información, la "optimidad" de un diseño determinado depende del modelo : si bien un diseño óptimo es mejor para ese modelo , su rendimiento puede deteriorarse en otros modelos . En otros modelos , un diseño óptimo puede ser mejor o peor que un diseño no óptimo. [14] Por lo tanto, es importante comparar el rendimiento de los diseños con modelos alternativos . [15]

Elección de un criterio de optimización y robustez

La elección de un criterio de optimización apropiado requiere cierta reflexión y es útil para comparar el desempeño de los diseños con respecto a varios criterios de optimización. Cornell escribe que

desde los criterios [de optimidad tradicional]. . . son criterios que minimizan la varianza, . . . un diseño que sea óptimo para un modelo determinado utilizando uno de los . . . Los criterios suelen ser casi óptimos para el mismo modelo con respecto a los demás criterios.

-  [dieciséis]

De hecho, hay varias clases de diseños para los cuales todos los criterios de optimización tradicionales coinciden, según la teoría de la "optimidad universal" de Kiefer . [17] La ​​experiencia de profesionales como Cornell y la teoría de la "optimidad universal" de Kiefer sugieren que la robustez con respecto a los cambios en el criterio de optimización es mucho mayor que la robustez con respecto a los cambios en el modelo .

Criterios de optimización flexibles y análisis convexo.

El software estadístico de alta calidad proporciona una combinación de bibliotecas de diseños óptimos o métodos iterativos para construir diseños aproximadamente óptimos, según el modelo especificado y el criterio de optimización. Los usuarios pueden utilizar un criterio de optimización estándar o pueden programar un criterio personalizado.

Todos los criterios de optimización tradicionales son funciones convexas (o cóncavas) y, por lo tanto, los diseños óptimos son susceptibles de la teoría matemática del análisis convexo y su cálculo puede utilizar métodos especializados de minimización convexa . [18] El profesional no necesita seleccionar exactamente un criterio de optimización tradicional, pero puede especificar un criterio personalizado. En particular, el profesional puede especificar un criterio convexo utilizando los máximos de criterios de optimización convexos y combinaciones no negativas de criterios de optimización (ya que estas operaciones preservan funciones convexas ). Para los criterios de optimización convexa , el teorema de equivalencia de Kiefer - Wolfowitz permite al practicante verificar que un diseño dado es globalmente óptimo. [19] El teorema de equivalencia de Kiefer - Wolfowitz está relacionado con la conjugación de Legendre - Fenchel para funciones convexas . [20]

Si un criterio de optimización carece de convexidad , entonces a menudo es difícil encontrar un óptimo global y verificar su optimización.

Incertidumbre del modelo y enfoques bayesianos.

Selección de modelo

Cuando los científicos desean probar varias teorías, un estadístico puede diseñar un experimento que permita pruebas óptimas entre modelos específicos. Estos "experimentos de discriminación" son especialmente importantes en la bioestadística que respalda la farmacocinética y la farmacodinamia , siguiendo el trabajo de Cox y Atkinson. [21]

Diseño experimental bayesiano

Cuando los profesionales necesitan considerar múltiples modelos , pueden especificar una medida de probabilidad en los modelos y luego seleccionar cualquier diseño que maximice el valor esperado de dicho experimento. Estos diseños óptimos basados ​​en probabilidades se denominan diseños bayesianos óptimos . Estos diseños bayesianos se utilizan especialmente para modelos lineales generalizados (donde la respuesta sigue una distribución de familia exponencial ). [22]

Sin embargo , el uso de un diseño bayesiano no obliga a los estadísticos a utilizar métodos bayesianos para analizar los datos. De hecho, a algunos investigadores no les gusta la etiqueta "bayesiana" para los diseños experimentales basados ​​en la probabilidad. [23] La terminología alternativa para la optimización "bayesiana" incluye la optimización "en promedio" o la optimización "poblacional".

Experimentación iterativa

La experimentación científica es un proceso iterativo y los estadísticos han desarrollado varios enfoques para el diseño óptimo de experimentos secuenciales.

Análisis secuencial

El análisis secuencial fue iniciado por Abraham Wald . [24] En 1972, Herman Chernoff escribió una descripción general de los diseños secuenciales óptimos, [25] mientras que S. Zacks examinó más tarde los diseños adaptativos . [26] Por supuesto, gran parte del trabajo sobre el diseño óptimo de experimentos está relacionado con la teoría de las decisiones óptimas , especialmente la teoría de la decisión estadística de Abraham Wald . [27]

Metodología de superficie de respuesta

Los diseños óptimos para modelos de superficie de respuesta se analizan en el libro de texto de Atkinson, Donev y Tobias, y en el estudio de Gaffke y Heiligers y en el texto matemático de Pukelsheim. El bloqueo de diseños óptimos se analiza en el libro de texto de Atkinson, Donev y Tobias y también en la monografía de Goos.

Los primeros diseños óptimos fueron desarrollados para estimar los parámetros de modelos de regresión con variables continuas, por ejemplo, por JD Gergonne en 1815 (Stigler). En inglés, Charles S. Peirce y Kirstine Smith hicieron dos primeras contribuciones .

George EP Box propuso diseños pioneros para superficies de respuesta multivariadas . Sin embargo, los diseños de Box tienen pocas propiedades de optimización. De hecho, el diseño de Box-Behnken requiere ejecuciones experimentales excesivas cuando el número de variables excede tres. [28] Los diseños "compuestos centrales" de Box requieren más ejecuciones experimentales que los diseños óptimos de Kôno. [29]

Identificación del sistema y aproximación estocástica.

La optimización de la experimentación secuencial se estudia también en programación estocástica y en sistemas y control . Los métodos populares incluyen la aproximación estocástica y otros métodos de optimización estocástica . Gran parte de esta investigación se ha asociado con la subdisciplina de identificación de sistemas . [30] En control óptimo computacional , D. Judin & A. Nemirovskii y Boris Polyak han descrito métodos que son más eficientes que las reglas de tamaño de paso ( estilo Armijo ) introducidas por GEP Box en la metodología de superficie de respuesta . [31]

Los diseños adaptativos se utilizan en ensayos clínicos , y los diseños adaptativos óptimos se analizan en el capítulo del Manual de diseños experimentales de Shelemyahu Zacks.

Especificación del número de ejecuciones experimentales

Usar una computadora para encontrar un buen diseño

Existen varios métodos para encontrar un diseño óptimo, dada una restricción a priori en el número de ejecuciones o repeticiones experimentales. Algunos de estos métodos son discutidos por Atkinson, Donev y Tobias y en el artículo de Hardin y Sloane . Por supuesto, fijar el número de ejecuciones experimentales a priori no sería práctico. Los estadísticos prudentes examinan los otros diseños óptimos, cuyo número de ejecuciones experimentales difiere.

Diseños discretizantes de medidas de probabilidad.

En la teoría matemática de experimentos óptimos, un diseño óptimo puede ser una medida de probabilidad que se apoya en un conjunto infinito de ubicaciones de observación. Estos diseños óptimos de medidas de probabilidad resuelven un problema matemático que omitió especificar el costo de las observaciones y las ejecuciones experimentales. No obstante, estos diseños óptimos de medidas de probabilidad pueden discretizarse para proporcionar diseños aproximadamente óptimos. [32]

En algunos casos, un conjunto finito de ubicaciones de observación es suficiente para respaldar un diseño óptimo. Kôno y Kiefer demostraron este resultado en sus trabajos sobre diseños de superficies de respuesta para modelos cuadráticos. El análisis de Kôno-Kiefer explica por qué los diseños óptimos para superficies de respuesta pueden tener soportes discretos, que son muy similares al igual que los diseños menos eficientes que han sido tradicionales en la metodología de superficies de respuesta . [33]

Historia

En 1815, Joseph Diaz Gergonne publicó un artículo sobre diseños óptimos para la regresión polinomial , según Stigler .

Charles S. Peirce propuso una teoría económica de la experimentación científica en 1876, que buscaba maximizar la precisión de las estimaciones. La asignación óptima de Peirce mejoró inmediatamente la precisión de los experimentos gravitacionales y fue utilizada durante décadas por Peirce y sus colegas. En su conferencia publicada en 1882 en la Universidad Johns Hopkins , Peirce introdujo el diseño experimental con estas palabras:

La lógica no se encargará de informaros qué tipo de experimentos debéis hacer para determinar mejor la aceleración de la gravedad o el valor del Ohm; pero te dirá cómo proceder para formar un plan de experimentación.

[....] Desafortunadamente, la práctica generalmente precede a la teoría, y el destino habitual de la humanidad es hacer las cosas de alguna manera asombrosa primero y descubrir después cómo se podrían haber hecho de manera mucho más fácil y perfecta. [34]

Kirstine Smith propuso diseños óptimos para modelos polinomiales en 1918 (Kirstine Smith había sido alumna del estadístico danés Thorvald N. Thiele y trabajaba con Karl Pearson en Londres).

Ver también

Notas

  1. ^ Nordström (1999, pág.176)
  2. ^ El adjetivo "óptimo" (y no "óptimo") "es la forma un poco más antigua en inglés y evita la construcción 'optim(um) + al´; no hay 'optimalis' en latín" (página x en Diseños experimentales óptimos , con SAS , por Atkinson, Donev y Tobias).
  3. ^ Guttorp, P.; Lindgren, G. (2009). "Karl Pearson y la escuela escandinava de estadística". Revista estadística internacional . 77 : 64. CiteSeerX  10.1.1.368.8328 . doi :10.1111/j.1751-5823.2009.00069.x. S2CID  121294724.
  4. ^ Smith, Kirstine (1918). "Sobre las desviaciones estándar de los valores ajustados e interpolados de una función polinómica observada y sus constantes y la orientación que dan para una elección adecuada de la distribución de las observaciones". Biometrika . 12 (1/2): 1–85. doi :10.2307/2331929. JSTOR  2331929.
  5. ^ Estas tres ventajas (de los diseños óptimos) están documentadas en el libro de texto de Atkinson, Donev y Tobias.
  6. ^ Estos criterios se denominan funciones objetivas en la teoría de la optimización .
  7. ^ La información de Fisher y otras funciones de " información " son conceptos fundamentales en la teoría estadística .
  8. ^ Tradicionalmente, los estadísticos han evaluado estimadores y diseños considerando alguna estadística resumida de la matriz de covarianza (de un estimador insesgado de media ), generalmente con valores reales positivos (como el determinante o la traza de la matriz ). Trabajar con números reales positivos trae varias ventajas: si el estimador de un solo parámetro tiene una varianza positiva, entonces la varianza y la información de Fisher son números reales positivos; por tanto, son miembros del cono convexo de números reales no negativos (cuyos miembros distintos de cero tienen recíprocos en este mismo cono). Para varios parámetros, las matrices de covarianza y las matrices de información son elementos del cono convexo de matrices simétricas definidas no negativas en un espacio vectorial parcialmente ordenado , bajo el orden de Loewner (Löwner). Este cono se cierra bajo la suma matriz-matriz, bajo la inversión de matrices y bajo la multiplicación de números reales positivos y matrices. En Pukelsheim aparece una exposición de la teoría de matrices y el orden de Loewner.
  9. ^ Shin, Yeonjong; Xiu, Dongbin (2016). "Selección de puntos cuasi óptimos no adaptativos para regresión lineal de mínimos cuadrados". Revista SIAM de Computación Científica . 38 (1): A385 – A411. Código Bib : 2016SJSC...38A.385S. doi :10.1137/15M1015868.
  10. ^ Atkinson, CA; Fedorov, VV (1975). "El diseño de experimentos para discriminar entre dos modelos rivales". Biometrika . 62 (1): 57–70. doi :10.1093/biomet/62.1.57. ISSN  0006-3444.
  11. ^ Los criterios de optimización anteriores son funciones convexas en dominios de matrices semidefinidas positivas simétricas : consulte un libro de texto en línea para profesionales, que tiene muchas ilustraciones y aplicaciones estadísticas:
    • Boyd, Stephen P.; Vandenberghe, Lieven (2004). Optimización convexa (PDF) . Prensa de la Universidad de Cambridge. ISBN 978-0-521-83378-3. Consultado el 15 de octubre de 2011 . (libro en pdf)
    Boyd y Vandenberghe analizan los diseños experimentales óptimos en las páginas 384–396.
  12. ^ Atkinson, Donev y Tobias analizan los criterios de optimización para los "parámetros de interés" y los contrastes .
  13. ^ Los métodos iterativos y los algoritmos de aproximación se analizan en el libro de texto de Atkinson, Donev y Tobias y en las monografías de Fedorov (histórico) y Pukelsheim, y en el artículo de estudio de Gaffke y Heiligers.
  14. ^ Consulte Kiefer ("Diseños óptimos para instalar superficies de respuesta múltiple sesgadas", páginas 289–299).
  15. ^ Esta evaluación comparativa se analiza en el libro de texto de Atkinson et al. y en los artículos de Kiefer. Modelo : Chang y Notz examinan los diseños robustos (incluidos los diseños "bayesianos").
  16. ^ Cornell, Juan (2002). Experimentos con mezclas: diseños, modelos y análisis de datos de mezclas (tercera ed.). Wiley. ISBN 978-0-471-07916-3.(Páginas 400-401)
  17. ^ En el libro de texto de Atkinson, Donev y Tobias aparece una introducción a la "optimidad universal". En el libro de texto avanzado de Pukelsheim y en los artículos de Kiefer se encuentran exposiciones más detalladas.
  18. ^ Pukelsheim y Gaffke y Heiligers analizan los métodos computacionales.
  19. ^ El teorema de equivalencia de Kiefer - Wolfowitz se analiza en el capítulo 9 de Atkinson, Donev y Tobias.
  20. ^ Pukelsheim utiliza el análisis convexo para estudiar el teorema de equivalencia de Kiefer - Wolfowitz en relación con la conjugación de Legendre - Fenchel para funciones convexas. La minimización de funciones convexas en dominios de matrices semidefinidas positivas simétricas se explica en un libro de texto en línea para profesionales, que tiene muchos ilustraciones y aplicaciones estadísticas:
    • Optimizacion convexa. Prensa de la Universidad de Cambridge. 2004. (libro en pdf)
    Boyd y Vandenberghe analizan los diseños experimentales óptimos en las páginas 384–396.
  21. ^ Consulte el capítulo 20 en Atkinison, Donev y Tobias.
  22. ^ Los diseños bayesianos se analizan en el capítulo 18 del libro de texto de Atkinson, Donev y Tobias. Se encuentran discusiones más avanzadas en la monografía de Fedorov y Hackl, y en los artículos de Chaloner y Verdinelli y de DasGupta. Chang y Notz analizan los diseños bayesianos y otros aspectos de los diseños "modelos robustos".
  23. ^ Como alternativa a la " optimidad bayesiana ", Fedorov y Hackl defienden la "optimidad promedio ".
  24. ^ Wald, Abraham (junio de 1945). "Pruebas secuenciales de hipótesis estadísticas". Los anales de la estadística matemática . 16 (2): 117–186. doi : 10.1214/aoms/1177731118 . JSTOR  2235829.
  25. ^ Chernoff, H. (1972) Análisis secuencial y diseño óptimo, monografía SIAM.
  26. ^ Zacks, S. (1996) "Diseños adaptativos para modelos paramétricos". En: Ghosh, S. y Rao, CR, (Eds) (1996). Diseño y análisis de experimentos, Manual de estadística, volumen 13. Holanda Septentrional. ISBN 0-444-82061-2 . (páginas 151 a 180) 
  27. ^ Henry P. Wynn escribió, "la teoría moderna del diseño óptimo tiene sus raíces en la escuela de teoría de la decisión de estadística estadounidense fundada por Abraham Wald " en su introducción "Contribuciones de Jack Kiefer al diseño experimental", que se encuentra en las páginas xvii-xxiv del siguiente volumen:Kiefer reconoce la influencia y los resultados de Wald en muchas páginas: 273 (página 55 en el volumen reimpreso), 280 (62), 289-291 (71-73), 294 (76), 297 (79), 315 (97) 319 ( 101) – en este artículo:
    • Kiefer, J. (1959). "Diseños experimentales óptimos". Revista de la Royal Statistical Society, Serie B. 21 : 272–319.
  28. ^ En el campo de la metodología de la superficie de respuesta , Wu y Hamada señalan la ineficiencia del diseño Box-Behnken (página 422).
    • Wu, CF Jeff y Hamada, Michael (2002). Experimentos: planificación, análisis y optimización del diseño de parámetros . Wiley. ISBN 978-0-471-25511-6.
    Wu y Hamada analizan los diseños óptimos para experimentos de "seguimiento".
  29. ^ La ineficiencia de los diseños "compuestos centrales" de Box se analiza según Atkinson, Donev y Tobias (página 165). Estos autores también analizan el bloqueo de diseños tipo Kôno para superficies de respuesta cuadráticas .
  30. ^ En identificación de sistemas, los siguientes libros tienen capítulos sobre diseño experimental óptimo:
  31. ^ Algunas reglas de tamaño de paso para Judin & Nemirovskii y Polyak Archivado el 31 de octubre de 2007 en Wayback Machine se explican en el libro de texto de Kushner y Yin:
  32. ^ Atkinson, Donev y Tobias y Pukelsheim (especialmente el Capítulo 12) analizan la discretización de diseños óptimos de medidas de probabilidad para proporcionar diseños aproximadamente óptimos.
  33. ^ Con respecto a los diseños para superficies de respuesta cuadráticas , los resultados de Kôno y Kiefer se analizan en Atkinson, Donev y Tobias. Matemáticamente, estos resultados están asociados con los polinomios de Chebyshev , los "sistemas de Markov" y los "espacios de momentos": consulte
  34. ^ Peirce, CS (1882), "Conferencia introductoria sobre el estudio de la lógica", pronunciada en septiembre de 1882, publicada en Johns Hopkins University Circulars , v. 2, n. 19, págs. 11 y 12, noviembre de 1882, véase la pág. 11, impresión electrónica de libros de Google . Reimpreso en Collected Papers v. 7, párrafos 59–76, véanse 59, 63, Writings of Charles S. Peirce v. 4, págs. 378–82, véanse 378, 379 y The Essential Peirce v. 1, págs. 210 –14, ver 210–1, también más abajo en 211.

Referencias

Otras lecturas

Libros de texto para profesionales y estudiantes.

Libros de texto que enfatizan la regresión y la metodología de superficie de respuesta.

El libro de texto de Atkinson, Donev y Tobias se ha utilizado en cursos cortos para profesionales industriales y en cursos universitarios.

Libros de texto que enfatizan los diseños de bloques.

Bailey y Bapat analizan los diseños de bloques óptimos . El primer capítulo del libro de Bapat revisa el álgebra lineal utilizada por Bailey (o los libros avanzados que aparecen a continuación). Tanto los ejercicios de Bailey como la discusión sobre la aleatorización enfatizan conceptos estadísticos (en lugar de cálculos algebraicos).

Los diseños de bloques óptimos se analizan en la monografía avanzada de Shah y Sinha y en los artículos de investigación de Cheng y Majumdar.

Libros para estadísticos e investigadores profesionales.

Artículos y capítulos

Histórico