La optimización de un diseño depende del modelo estadístico y se evalúa con respecto a un criterio estadístico, que está relacionado con la matriz de varianzas del estimador. Especificar un modelo apropiado y especificar una función de criterio adecuada requieren comprensión de la teoría estadística y conocimiento práctico en el diseño de experimentos .
Los diseños óptimos reducen los costos de la experimentación al permitir que los modelos estadísticos se estimen con menos ejecuciones experimentales.
Los diseños óptimos pueden adaptarse a múltiples tipos de factores, como factores de proceso, de mezcla y discretos.
Los diseños se pueden optimizar cuando el espacio de diseño está restringido, por ejemplo, cuando el espacio de proceso matemático contiene configuraciones de factores que son prácticamente inviables (por ejemplo, debido a preocupaciones de seguridad).
Minimizar la varianza de los estimadores.
Los diseños experimentales se evalúan utilizando criterios estadísticos. [6]
Un criterio es el A-optimalidad , que busca minimizar la traza de la inversa de la matriz de información. Este criterio da como resultado minimizar la varianza promedio de las estimaciones de los coeficientes de regresión.
C -optimalidad
Este criterio minimiza la varianza de un mejor estimador lineal insesgado de una combinación lineal predeterminada de parámetros del modelo.
D -optimalidad ( determinante )
Un criterio popular es D-optimalidad , que busca minimizar |(X'X) −1 |, o equivalentemente maximizar el determinante de la matriz de información X'X del diseño. Este criterio da como resultado maximizar el contenido de información diferencial de Shannon de las estimaciones de los parámetros.
E -optimalidad ( valor propio )
Otro diseño es E-optimalidad , que maximiza el valor propio mínimo de la matriz de información.
S -optimidad [9]
Este criterio maximiza una cantidad que mide la ortogonalidad mutua de las columnas de X y el determinante de la matriz de información.
T -optimalidad
Este criterio maximiza la discrepancia entre dos modelos propuestos en las ubicaciones de diseño. [10]
Otros criterios de optimización se refieren a la varianza de las predicciones :
G -optimalidad
Un criterio popular es G-optimalidad , que busca minimizar la entrada máxima en la diagonal de la matriz hat X(X'X) −1 X'. Esto tiene el efecto de minimizar la varianza máxima de los valores predichos.
I -optimalidad ( integrada )
Un segundo criterio sobre la varianza de la predicción es la optimización I , que busca minimizar la varianza de la predicción promedio en el espacio de diseño .
V -optimalidad ( varianza )
Un tercer criterio sobre la varianza de la predicción es la V-optimalidad , que busca minimizar la varianza de la predicción promedio sobre un conjunto de m puntos específicos. [11]
Los catálogos de diseños óptimos se encuentran en libros y bibliotecas de software.
Además, los principales sistemas estadísticos como SAS y R tienen procedimientos para optimizar un diseño de acuerdo con las especificaciones del usuario. El experimentador debe especificar un modelo para el diseño y un criterio de optimización antes de que el método pueda calcular un diseño óptimo. [13]
Consideraciones prácticas
Algunos temas avanzados en diseño óptimo requieren más teoría estadística y conocimiento práctico en el diseño de experimentos.
Dependencia y robustez del modelo.
Dado que el criterio de optimización de la mayoría de los diseños óptimos se basa en alguna función de la matriz de información, la "optimidad" de un diseño determinado depende del modelo : si bien un diseño óptimo es mejor para ese modelo , su rendimiento puede deteriorarse en otros modelos . En otros modelos , un diseño óptimo puede ser mejor o peor que un diseño no óptimo. [14] Por lo tanto, es importante comparar el rendimiento de los diseños con modelos alternativos . [15]
Elección de un criterio de optimización y robustez
La elección de un criterio de optimización apropiado requiere cierta reflexión y es útil para comparar el desempeño de los diseños con respecto a varios criterios de optimización. Cornell escribe que
desde los criterios [de optimidad tradicional]. . . son criterios que minimizan la varianza, . . . un diseño que sea óptimo para un modelo determinado utilizando uno de los . . . Los criterios suelen ser casi óptimos para el mismo modelo con respecto a los demás criterios.
- [dieciséis]
De hecho, hay varias clases de diseños para los cuales todos los criterios de optimización tradicionales coinciden, según la teoría de la "optimidad universal" de Kiefer . [17] La experiencia de profesionales como Cornell y la teoría de la "optimidad universal" de Kiefer sugieren que la robustez con respecto a los cambios en el criterio de optimización es mucho mayor que la robustez con respecto a los cambios en el modelo .
Criterios de optimización flexibles y análisis convexo.
El software estadístico de alta calidad proporciona una combinación de bibliotecas de diseños óptimos o métodos iterativos para construir diseños aproximadamente óptimos, según el modelo especificado y el criterio de optimización. Los usuarios pueden utilizar un criterio de optimización estándar o pueden programar un criterio personalizado.
Todos los criterios de optimización tradicionales son funciones convexas (o cóncavas) y, por lo tanto, los diseños óptimos son susceptibles de la teoría matemática del análisis convexo y su cálculo puede utilizar métodos especializados de minimización convexa . [18] El profesional no necesita seleccionar exactamente un criterio de optimización tradicional, pero puede especificar un criterio personalizado. En particular, el profesional puede especificar un criterio convexo utilizando los máximos de criterios de optimización convexos y combinaciones no negativas de criterios de optimización (ya que estas operaciones preservan funciones convexas ). Para los criterios de optimización convexa , el teorema de equivalencia de Kiefer - Wolfowitz permite al practicante verificar que un diseño dado es globalmente óptimo. [19] El teorema de equivalencia de Kiefer - Wolfowitz está relacionado con la conjugación de Legendre - Fenchel para funciones convexas . [20]
Si un criterio de optimización carece de convexidad , entonces a menudo es difícil encontrar un óptimo global y verificar su optimización.
Incertidumbre del modelo y enfoques bayesianos.
Selección de modelo
Cuando los científicos desean probar varias teorías, un estadístico puede diseñar un experimento que permita pruebas óptimas entre modelos específicos. Estos "experimentos de discriminación" son especialmente importantes en la bioestadística que respalda la farmacocinética y la farmacodinamia , siguiendo el trabajo de Cox y Atkinson. [21]
Sin embargo , el uso de un diseño bayesiano no obliga a los estadísticos a utilizar métodos bayesianos para analizar los datos. De hecho, a algunos investigadores no les gusta la etiqueta "bayesiana" para los diseños experimentales basados en la probabilidad. [23] La terminología alternativa para la optimización "bayesiana" incluye la optimización "en promedio" o la optimización "poblacional".
Experimentación iterativa
La experimentación científica es un proceso iterativo y los estadísticos han desarrollado varios enfoques para el diseño óptimo de experimentos secuenciales.
Los diseños óptimos para modelos de superficie de respuesta se analizan en el libro de texto de Atkinson, Donev y Tobias, y en el estudio de Gaffke y Heiligers y en el texto matemático de Pukelsheim. El bloqueo de diseños óptimos se analiza en el libro de texto de Atkinson, Donev y Tobias y también en la monografía de Goos.
Los primeros diseños óptimos fueron desarrollados para estimar los parámetros de modelos de regresión con variables continuas, por ejemplo, por JD Gergonne en 1815 (Stigler). En inglés, Charles S. Peirce y Kirstine Smith hicieron dos primeras contribuciones .
George EP Box propuso diseños pioneros para superficies de respuesta multivariadas . Sin embargo, los diseños de Box tienen pocas propiedades de optimización. De hecho, el diseño de Box-Behnken requiere ejecuciones experimentales excesivas cuando el número de variables excede tres. [28] Los diseños "compuestos centrales"
de Box requieren más ejecuciones experimentales que los diseños óptimos de Kôno. [29]
Identificación del sistema y aproximación estocástica.
Especificación del número de ejecuciones experimentales
Usar una computadora para encontrar un buen diseño
Existen varios métodos para encontrar un diseño óptimo, dada una restricción a priori en el número de ejecuciones o repeticiones experimentales. Algunos de estos métodos son discutidos por Atkinson, Donev y Tobias y en el artículo de Hardin y Sloane . Por supuesto, fijar el número de ejecuciones experimentales a priori no sería práctico. Los estadísticos prudentes examinan los otros diseños óptimos, cuyo número de ejecuciones experimentales difiere.
Diseños discretizantes de medidas de probabilidad.
En la teoría matemática de experimentos óptimos, un diseño óptimo puede ser una medida de probabilidad que se apoya en un conjunto infinito de ubicaciones de observación. Estos diseños óptimos de medidas de probabilidad resuelven un problema matemático que omitió especificar el costo de las observaciones y las ejecuciones experimentales. No obstante, estos diseños óptimos de medidas de probabilidad pueden discretizarse para proporcionar diseños aproximadamente óptimos. [32]
En algunos casos, un conjunto finito de ubicaciones de observación es suficiente para respaldar un diseño óptimo. Kôno y Kiefer demostraron este resultado en sus trabajos sobre diseños de superficies de respuesta para modelos cuadráticos. El análisis de Kôno-Kiefer explica por qué los diseños óptimos para superficies de respuesta pueden tener soportes discretos, que son muy similares al igual que los diseños menos eficientes que han sido tradicionales en la metodología de superficies de respuesta . [33]
Charles S. Peirce propuso una teoría económica de la experimentación científica en 1876, que buscaba maximizar la precisión de las estimaciones. La asignación óptima de Peirce mejoró inmediatamente la precisión de los experimentos gravitacionales y fue utilizada durante décadas por Peirce y sus colegas. En su conferencia publicada en 1882 en la Universidad Johns Hopkins , Peirce introdujo el diseño experimental con estas palabras:
La lógica no se encargará de informaros qué tipo de experimentos debéis hacer para determinar mejor la aceleración de la gravedad o el valor del Ohm; pero te dirá cómo proceder para formar un plan de experimentación.
[....] Desafortunadamente, la práctica generalmente precede a la teoría, y el destino habitual de la humanidad es hacer las cosas de alguna manera asombrosa primero y descubrir después cómo se podrían haber hecho de manera mucho más fácil y perfecta. [34]
Kirstine Smith propuso diseños óptimos para modelos polinomiales en 1918 (Kirstine Smith había sido alumna del estadístico danés Thorvald N. Thiele y trabajaba con Karl Pearson en Londres).
^ El adjetivo "óptimo" (y no "óptimo") "es la forma un poco más antigua en inglés y evita la construcción 'optim(um) + al´; no hay 'optimalis' en latín" (página x en Diseños experimentales óptimos , con SAS , por Atkinson, Donev y Tobias).
^ Guttorp, P.; Lindgren, G. (2009). "Karl Pearson y la escuela escandinava de estadística". Revista estadística internacional . 77 : 64. CiteSeerX 10.1.1.368.8328 . doi :10.1111/j.1751-5823.2009.00069.x. S2CID 121294724.
^ Smith, Kirstine (1918). "Sobre las desviaciones estándar de los valores ajustados e interpolados de una función polinómica observada y sus constantes y la orientación que dan para una elección adecuada de la distribución de las observaciones". Biometrika . 12 (1/2): 1–85. doi :10.2307/2331929. JSTOR 2331929.
^ Estas tres ventajas (de los diseños óptimos) están documentadas en el libro de texto de Atkinson, Donev y Tobias.
^ Tradicionalmente, los estadísticos han evaluado estimadores y diseños considerando alguna estadística resumida de la matriz de covarianza (de un estimador insesgado de media ), generalmente con valores reales positivos (como el determinante o la traza de la matriz ). Trabajar con números reales positivos trae varias ventajas: si el estimador de un solo parámetro tiene una varianza positiva, entonces la varianza y la información de Fisher son números reales positivos; por tanto, son miembros del cono convexo de números reales no negativos (cuyos miembros distintos de cero tienen recíprocos en este mismo cono).
Para varios parámetros, las matrices de covarianza y las matrices de información son elementos del cono convexo de matrices simétricas definidas no negativas en un espacio vectorial parcialmente ordenado , bajo el orden de Loewner (Löwner). Este cono se cierra bajo la suma matriz-matriz, bajo la inversión de matrices y bajo la multiplicación de números reales positivos y matrices. En Pukelsheim aparece una exposición de la teoría de matrices y el orden de Loewner.
^ Shin, Yeonjong; Xiu, Dongbin (2016). "Selección de puntos cuasi óptimos no adaptativos para regresión lineal de mínimos cuadrados". Revista SIAM de Computación Científica . 38 (1): A385 – A411. Código Bib : 2016SJSC...38A.385S. doi :10.1137/15M1015868.
^ Atkinson, CA; Fedorov, VV (1975). "El diseño de experimentos para discriminar entre dos modelos rivales". Biometrika . 62 (1): 57–70. doi :10.1093/biomet/62.1.57. ISSN 0006-3444.
^ Los criterios de optimización anteriores son funciones convexas en dominios de matrices semidefinidas positivas simétricas : consulte un libro de texto en línea para profesionales, que tiene muchas ilustraciones y aplicaciones estadísticas:
Boyd, Stephen P.; Vandenberghe, Lieven (2004). Optimización convexa (PDF) . Prensa de la Universidad de Cambridge. ISBN 978-0-521-83378-3. Consultado el 15 de octubre de 2011 . (libro en pdf)
Boyd y Vandenberghe analizan los diseños experimentales óptimos en las páginas 384–396.
^ Los métodos iterativos y los algoritmos de aproximación se analizan en el libro de texto de Atkinson, Donev y Tobias y en las monografías de Fedorov (histórico) y Pukelsheim, y en el artículo de estudio de Gaffke y Heiligers.
^ Consulte Kiefer ("Diseños óptimos para instalar superficies de respuesta múltiple sesgadas", páginas 289–299).
^ Cornell, Juan (2002). Experimentos con mezclas: diseños, modelos y análisis de datos de mezclas (tercera ed.). Wiley. ISBN978-0-471-07916-3.(Páginas 400-401)
^ En el libro de texto de Atkinson, Donev y Tobias aparece una introducción a la "optimidad universal". En el libro de texto avanzado de Pukelsheim y en los artículos de Kiefer se encuentran exposiciones más detalladas.
^ Pukelsheim y Gaffke y Heiligers analizan los métodos computacionales.
^ El teorema de equivalencia de Kiefer - Wolfowitz se analiza en el capítulo 9 de Atkinson, Donev y Tobias.
^ Como alternativa a la " optimidad bayesiana ", Fedorov y Hackl defienden la "optimidad promedio ".
^ Wald, Abraham (junio de 1945). "Pruebas secuenciales de hipótesis estadísticas". Los anales de la estadística matemática . 16 (2): 117–186. doi : 10.1214/aoms/1177731118 . JSTOR 2235829.
^ Chernoff, H. (1972) Análisis secuencial y diseño óptimo, monografía SIAM.
^ Zacks, S. (1996) "Diseños adaptativos para modelos paramétricos". En: Ghosh, S. y Rao, CR, (Eds) (1996). Diseño y análisis de experimentos, Manual de estadística, volumen 13. Holanda Septentrional. ISBN 0-444-82061-2 . (páginas 151 a 180)
^
Henry P. Wynn escribió, "la teoría moderna del diseño óptimo tiene sus raíces en la escuela de teoría de la decisión de estadística estadounidense fundada por Abraham Wald " en su introducción "Contribuciones de Jack Kiefer al diseño experimental", que se encuentra en las páginas xvii-xxiv del siguiente volumen:
Kiefer reconoce la influencia y los resultados de Wald en muchas páginas: 273 (página 55 en el volumen reimpreso), 280 (62), 289-291 (71-73), 294 (76), 297 (79), 315 (97) 319 ( 101) – en este artículo:
Kiefer, J. (1959). "Diseños experimentales óptimos". Revista de la Royal Statistical Society, Serie B. 21 : 272–319.
^ Algunas reglas de tamaño de paso para Judin & Nemirovskii y Polyak Archivado el 31 de octubre de 2007 en Wayback Machine se explican en el libro de texto de Kushner y Yin:
^ Atkinson, Donev y Tobias y Pukelsheim (especialmente el Capítulo 12) analizan la discretización de diseños óptimos de medidas de probabilidad para proporcionar diseños aproximadamente óptimos.
^ Con respecto a los diseños para superficies de respuesta cuadráticas , los resultados de Kôno y Kiefer se analizan en Atkinson, Donev y Tobias. Matemáticamente, estos resultados están asociados con los polinomios de Chebyshev , los "sistemas de Markov" y los "espacios de momentos": consulte
Karlín, Samuel ; Shapley, Lloyd (1953). "Geometría de espacios de momento". Memoria. América. Matemáticas. Soc . 12 .
^ Peirce, CS (1882), "Conferencia introductoria sobre el estudio de la lógica", pronunciada en septiembre de 1882, publicada en Johns Hopkins University Circulars , v. 2, n. 19, págs. 11 y 12, noviembre de 1882, véase la pág. 11, edición electrónica de Google Books . Reimpreso en Collected Papers v. 7, párrafos 59–76, véanse 59, 63, Writings of Charles S. Peirce v. 4, págs. 378–82, véanse 378, 379 y The Essential Peirce v. 1, págs. 210 –14, ver 210–1, también más abajo en 211.
Chernoff, Herman (1972). Análisis secuencial y diseño óptimo . Sociedad de Matemática Industrial y Aplicada. ISBN 978-0-89871-006-9.
Fedorov, VV (1972). Teoría de Experimentos Óptimos . Prensa académica.
Fedorov, Valerii V.; Hackl, Peter (1997). Diseño de experimentos orientado a modelos . Apuntes de conferencias sobre estadística. vol. 125. Springer-Verlag.
Bueno, Peter (2002). El diseño óptimo de experimentos en bloques y en parcelas divididas. Apuntes de conferencias sobre estadística. vol. 164. Saltador.
Kiefer, Jack Carl (1985). Marrón ; Olkin, Ingram ; Sacos, Jerome; et al. (eds.). Jack Carl Kiefer: artículos recopilados III: diseño de experimentos . Springer-Verlag y el Instituto de Estadística Matemática. págs. 718+xxv. ISBN 978-0-387-96004-3.
Logotetis, N.; Wynn, HP (1989). Calidad a través del diseño: diseño experimental, control de calidad fuera de línea y contribuciones de Taguchi . Oxford UP págs. 464 + xi. ISBN 978-0-19-851993-5.
Nordström, Kenneth (mayo de 1999). "La vida y obra de Gustav Elfving". Ciencia estadística . 14 (2): 174-196. doi : 10.1214/ss/1009212244 . JSTOR 2676737. SEÑOR 1722074.
Pukelsheim, Friedrich (2006). Diseño óptimo de experimentos. Clásicos en Matemática Aplicada. vol. 50 (reedición con lista de erratas y nuevo prefacio de Wiley (0-471-61971-X) 1993 ed.). Sociedad de Matemática Industrial y Aplicada . págs. 454+xxxii. ISBN 978-0-89871-604-7.
Shah, Kirti R. y Sinha, Bikas K. (1989). Teoría de Diseños Óptimos . Apuntes de conferencias sobre estadística. vol. 54. Springer-Verlag. págs.171+viii. ISBN 978-0-387-96991-6.
Otras lecturas
Libros de texto para profesionales y estudiantes.
Libros de texto que enfatizan la regresión y la metodología de superficie de respuesta.
El libro de texto de Atkinson, Donev y Tobias se ha utilizado en cursos cortos para profesionales industriales y en cursos universitarios.
Atkinson, AC; Donev, AN; Tobías, RD (2007). Diseños experimentales óptimos, con SAS. Prensa de la Universidad de Oxford. págs.511+xvi. ISBN 978-0-19-929660-6.
Logotetis, N.; Wynn, HP (1989). Calidad a través del diseño: diseño experimental, control de calidad fuera de línea y contribuciones de Taguchi . Oxford UP págs. 464 + xi. ISBN 978-0-19-851993-5.
Libros de texto que enfatizan los diseños de bloques.
Bailey y Bapat analizan los diseños de bloques óptimos . El primer capítulo del libro de Bapat revisa el álgebra lineal utilizada por Bailey (o los libros avanzados que aparecen a continuación). Tanto los ejercicios de Bailey como la discusión sobre la aleatorización enfatizan conceptos estadísticos (en lugar de cálculos algebraicos).
Bailey, RA (2008). Diseño de Experimentos Comparativos. Cambridge UP ISBN 978-0-521-68357-9.Borrador disponible en línea. (Especialmente el Capítulo 11.8 "Optimidad")
Bapat, RB (2000). Álgebra lineal y modelos lineales (Segunda ed.). Saltador. ISBN 978-0-387-98871-9.(Capítulo 5 "Diseños de bloques y optimización", páginas 99-111)
Los diseños de bloques óptimos se analizan en la monografía avanzada de Shah y Sinha y en los artículos de investigación de Cheng y Majumdar.
Libros para estadísticos e investigadores profesionales.
Fedorov, VV (1972). Teoría de Experimentos Óptimos . Prensa académica.
Fedorov, Valerii V.; Hackl, Peter (1997). Diseño de experimentos orientado a modelos . vol. 125. Springer-Verlag.
Bueno, Peter (2002). El diseño óptimo de experimentos en bloques y en parcelas divididas . vol. 164. Saltador.
Goos, Peter y Jones, Bradley (2011). Diseño óptimo de experimentos: un enfoque de estudio de caso . Chichester Wiley. pag. 304.ISBN 978-0-470-74461-1.
Ghosh, S.; Rao, CR , eds. (1996). Diseño y análisis de experimentos . Manual de estadística. vol. 13. Holanda Septentrional. ISBN 978-0-444-82061-7.
" Modelos de Diseños Robustos ". Diseño y análisis de experimentos . Manual de estadística. págs. 1055-1099.
Cheng, C.-S. "Diseño óptimo: teoría exacta". Diseño y análisis de experimentos . Manual de estadística. págs. 977-1006.
DasGupta, A. "Revisión de diseños bayesianos óptimos ". Diseño y análisis de experimentos . Manual de estadística. págs. 1099-1148.
Gaffke, N. & Heiligers, B. "Diseños aproximados para regresión polinómica : invariancia , admisibilidad y optimidad". Diseño y análisis de experimentos . Manual de estadística. págs. 1149-1199.
Majumdar, D. "Diseños de control de tratamiento óptimos y eficientes". Diseño y análisis de experimentos . Manual de estadística. págs. 1007-1054.
Stufken, J. " Diseños cruzados óptimos ". Diseño y análisis de experimentos . Manual de estadística. págs. 63–90.
Zacks, S. "Diseños adaptativos para modelos paramétricos". Diseño y análisis de experimentos . Manual de estadística. págs. 151–180.
Kono, Kazumasa (1962). "Diseños óptimos para regresión cuadrática en k-cube" (PDF) . Memorias de la Facultad de Ciencias. Universidad de Kyushu. Serie A. Matemáticas . 16 (2): 114-122. doi : 10.2206/kyushumfs.16.114 .
Histórico
Gergonne, JD (noviembre de 1974) [1815]. "La aplicación del método de mínimos cuadrados a la interpolación de secuencias". Historia Matemática . 1 (4) (Traducido por Ralph St. John y SM Stigler de la edición francesa de 1815): 439–447. doi : 10.1016/0315-0860(74)90034-2 .
Stigler, Stephen M. (noviembre de 1974). "Artículo de Gergonne de 1815 sobre el diseño y análisis de experimentos de regresión polinómica". Historia Matemática . 1 (4): 431–439. doi : 10.1016/0315-0860(74)90033-0 .
Peirce, CS (1876). "Nota sobre la Teoría de la Economía de la Investigación". Informe del estudio costero : 197–201.(Anexo No. 14). Impresión en PDF de la NOAA. Reimpreso en Collected Papers de Charles Sanders Peirce . vol. 7. 1958.párrafos 139 a 157, y en Peirce, CS (julio-agosto de 1967). "Nota sobre la Teoría de la Economía de la Investigación". La investigación de operaciones . 15 (4): 643–648. doi :10.1287/opre.15.4.643. JSTOR 168276.
Smith, Kirstine (1918). "Sobre las desviaciones estándar de valores ajustados e interpolados de una función polinómica observada y sus constantes y la orientación que dan para una elección adecuada de la distribución de las observaciones". Biometrika . 12 (1/2): 1–85. doi :10.2307/2331929. JSTOR 2331929.