El benchmark Whetstone es un benchmark sintético para evaluar el rendimiento de las computadoras . [1] Fue escrito por primera vez en ALGOL 60 en 1972 en la Unidad de Soporte Técnico del Departamento de Comercio e Industria (más tarde parte de la Agencia Central de Computación y Telecomunicaciones ) en el Reino Unido . Se derivó de las estadísticas sobre el comportamiento del programa recopiladas en la computadora KDF9 en el Laboratorio Nacional de Física de NPL , utilizando una versión modificada de su compilador Whetstone ALGOL 60. [2] La carga de trabajo en la máquina se representó como un conjunto de frecuencias de ejecución de las 124 instrucciones del Código Whetstone. El compilador Whetstone se construyó en la División de Energía Atómica de la English Electric Company en Whetstone, Leicestershire , Inglaterra, [3] de ahí su nombre. El Dr. BA Wichman en NPL produjo un conjunto de 42 declaraciones ALGOL 60 simples, que en una combinación adecuada coincidían con las estadísticas de ejecución.
Para hacer un punto de referencia más práctico, Harold Curnow de la TSU escribió un programa que incorporaba las 42 instrucciones. Este programa funcionaba en su versión ALGOL 60, pero cuando se tradujo a FORTRAN no fue ejecutado correctamente por el compilador optimizador de IBM. Se omitieron los cálculos cuyos resultados no se mostraban. Luego produjo un conjunto de fragmentos de programa que se parecían más al código real y que, en conjunto, coincidían con las 124 instrucciones Whetstone originales. Al cronometrar este programa, se obtuvo una medida de la velocidad de la máquina en miles de instrucciones Whetstone por segundo (kWIPS). La versión Fortran se convirtió en el primer punto de referencia de propósito general que estableció los estándares de la industria del rendimiento de los sistemas informáticos. Roy Longbottom, también de la TSU/CCTA, llevó a cabo un desarrollo posterior y se convirtió en la autoridad oficial de diseño.
El programa Algol 60 se ejecutó bajo el compilador Whetstone en julio de 2010, por primera vez desde que se cerró el último KDF9 en 1980, pero ahora ejecutado por un emulador KDF9. [4]
El programa de referencia emplea ocho procedimientos de prueba, tres de los cuales ejecutan cálculos estándar de punto flotante, dos con funciones como COS o EXP, uno para aritmética de números enteros, ramificación o asignación de memoria. La salida del programa original comprendía los parámetros utilizados para cada prueba, los resultados numéricos producidos y la calificación general del rendimiento de KWIPS. En 1978, el programa se actualizó para registrar el tiempo de ejecución de cada una de las pruebas, lo que permitió incluir MFLOPS (millones de operaciones de punto flotante por segundo) en los informes, junto con una estimación de MIPS (millones de instrucciones por segundo) de números enteros. En 1987, los cálculos MFLOPS se incluyeron en el registro para las tres pruebas correspondientes y MOPS (millones de operaciones por segundo) para las demás. También se llevaron a cabo cambios de código, incluso por parte de la Universidad de Bangor, necesarios para identificar comportamientos inesperados, sin cambiar la implementación de las 124 instrucciones Whetstone originales. Un cambio necesario fue mantener la precisión de la medición a velocidades crecientes de la CPU, con autocalibración para ejecutarse durante un tiempo finito notable, generalmente establecido en 10 segundos o 100 para las primeras PC con baja resolución del temporizador.
Tenga en cuenta que hay otras versiones de Whetstone Benchmark disponibles en línea, algunas de las cuales reclaman derechos de autor, sin referencia a CCTA o la autoridad de diseño.
Junto con la empresa controlada por la División de Contratos, los ingenieros de CCTA tenían la responsabilidad de diseñar y supervisar las pruebas de aceptación [5] de todas las computadoras del Gobierno del Reino Unido y las de las universidades y consejos de investigación financiados centralmente , con sistemas que variaban desde minicomputadoras hasta supercomputadoras . Esto proporcionó la oportunidad de recopilar resultados verificados de Whetstone Benchmark. Otros resultados se obtuvieron a través de nuevas actividades de evaluación de sistemas informáticos.
Los registros de la CCTA están ahora disponibles en los Archivos Nacionales del Reino Unido [6] , incluidos los informes técnicos. Los resultados originales de Whetstone Benchmark están en el Memorándum Técnico 1182 de la CCTA de 1985, donde la velocidad general solo se muestra como MWIPS. Este contiene más de 1000 resultados para 244 computadoras de 32 fabricantes, incluido el primero para PC y supercomputadoras. Es posible que el informe esté accesible desde el Archivo. Los detalles se incluyeron más tarde en un informe disponible públicamente (consulte Informes disponibles a continuación).
Roy Longbottom convirtió el Whetstone Benchmark original para aprovechar al máximo las capacidades de los nuevos procesadores vectoriales . Los resultados se incluyeron en el artículo “Performance of Multi-User Supercomputing Facilities” presentado en la Cuarta Conferencia Internacional sobre Supercomputación de 1989, Santa Clara [7] . [8]
Esto también se repitió en el artículo de Harold Curnow “¿Adónde va la piedra de afilar? El benchmark sintético después de 15 años”, presentado en la conferencia “Evaluación de supercomputadoras: estrategias para explotar, evaluar y evaluar los benchmarks de computadoras con arquitectura avanzada” en 1990, en el libro . [9]
Harold también informó sobre los comentarios de la conferencia de 1989 “Software para computadoras paralelas” en una presentación de Gordon Bell, diseñador de la gama de minicomputadoras VAX de Digital Equipment Corporation , indicando que la gama fue diseñada para tener un buen desempeño en el Whetstone Benchmark.
El Whetstone Benchmark también tuvo una alta visibilidad en lo que respecta al rendimiento de punto flotante de las CPU y PC de Intel , comenzando con el coprocesador Intel 8087 de 1980. Esto se informó en el Informe de aplicaciones de Intel de 1986 “Numéricos de alta velocidad con el 80186 / 80188 y 8087 ”. [10] Este último incluye funciones de hardware para cálculos exponenciales, logarítmicos o trigonométricos, como se usó en dos de las ocho pruebas Whetstone Benchmark, donde pueden dominar el tiempo de ejecución. Solo se incluyeron otros dos benchmarks en los procedimientos de Intel, mostrando enormes ganancias sobre las rutinas basadas en software anteriores en los tres programas.
Pruebas posteriores, realizadas por un laboratorio de SSEMC, evaluaron chips de CPU compatibles con Intel 80486 utilizando su Universal Chip Analyzer. [11] Teniendo en cuenta dos puntos de referencia de punto flotante, como los utilizados por Intel en el informe anterior, prefirieron Whetstone, afirmando que "Whetstone utiliza el conjunto completo de instrucciones disponibles en las primeras FPU x87 ". Esto podría sugerir que el punto de referencia Whetstone influyó en el conjunto de instrucciones de hardware.
En la década de 1990, el Whetstone Benchmark y sus resultados se habían vuelto relativamente populares. Una cita notable de 1985 fue la de “A portable sísmic computing benchmark” (Un punto de referencia portátil para computación sísmica), en la que se citaba: “El único punto de referencia comúnmente utilizado, según tengo conocimiento, es el venerable punto de referencia Whetstone, diseñado hace muchos años para probar operaciones de punto flotante” ( European Association of Geoscientists and Engineers Journal). [12]
Los detalles del desempeño del Vector Whetstone Benchmark también fueron repetidos, por Roy Longbottom, en el Seminario de Computación Avanzada de junio de 1990 en el Consejo de Investigación del Medio Ambiente Natural de Wallingford. Esto llevó al Consejo para el Laboratorio Central del Soporte de Computación Distribuida del Consejo de Investigación a recopilar resultados de la ejecución "en una variedad de máquinas, incluyendo supercomputadoras vectoriales, minisupers, superestaciones de trabajo y estaciones de trabajo, junto con los obtenidos en una serie de CPU vectoriales y en nodos individuales de varias máquinas MPP ". Se incluyen más de 200 resultados, hasta 2006, en el informe disponible en el Archivo Wayback Machine en las entradas de al menos la sección del año 2007. [13] El informe también indicó "La amplia variedad de funciones estándar ejercitadas (sqrt, exp, cos, etc.) consumen una fracción mucho mayor de los tiempos informados".
Al alcanzar 1 MWIPS, la minicomputadora VAX-11/780 de Digital Equipment Corporation fue aceptada como la primera computadora de 32 bits disponible comercialmente en demostrar 1 MIPS (millones de instrucciones por segundo), CERN , [14] no muy apropiada para un punto de referencia que dependía de la velocidad de punto flotante. Esto tuvo un impacto en el Dhrystone Benchmark, el segundo programa de medición de rendimiento de computadora de propósito general aceptado, sin cálculos de punto flotante. Esto produjo un resultado de 1757 Dhrystones por segundo en el VAX 11/780, lo que llevó a una medición revisada de 1 DMIPS , (también conocido como Vax MIPS), al dividir el resultado original por 1757.
Tras retirarse de CCTA, Roy Longbottom continuó ofreciendo programas gratuitos de evaluación comparativa y pruebas de estrés disponibles en su sitio web, más tarde roylongbottom.org.uk, con la mayor parte del desarrollo utilizando C (lenguaje de programación) , a través de sistemas operativos basados en Microsoft Windows y Linux en PC. Esto se hizo inicialmente en conjunto con el Compuserve Benchmarks and Standards Forum, consulte Wayback Machine Archive, [15] que cubre hardware de PC desde 1997 hasta 2008, proporcionando numerosos resultados de evaluación comparativa nuevos.
Entre 2008 y 2013, se recopilaron más resultados de PC de forma privada. Para entonces, las velocidades de reloj operativas del procesador de PC alcanzaron los 4000 MHz y no aumentaron tanto en la década de 2020, lo que redujo la necesidad de recopilar resultados del punto de referencia escalar original. En 2017, se publicó “Whetstone Benchmark History and Results” [16] para acceso público, con el año identificado de la primera entrega y se agregaron los precios de compra, duplicando también la cantidad de computadoras cubiertas en el informe CCTA. La cita más notable para esto fue de Tony Voellm, entonces gerente de ingeniería de rendimiento de Google Cloud, titulado “Cloud Benchmarking: Fight the black hole” [17] . Esto consideró los puntos de referencia disponibles y el rendimiento por tiempo con gráficos detallados, incluidos los de los informes Whetstone. En una etapa posterior, 504 de los resultados, por año, se incluyeron en el informe “Técnicas utilizadas para analizar las mediciones básicas de rendimiento”. [18]
Durante este período, se produjeron versiones de Whetstone Benchmark para acceder a Multithreading (arquitectura de computadora) , inicialmente para PC con Microsoft Windows , siendo la última compatible con hasta 8 CPU o núcleos de CPU, particularmente para aquellos conocidos como variedades de 4 núcleos/8 subprocesos.
El informe de Historial incluye nuevas secciones para los resultados de PC, con CPUs de 1979, particularmente aquellas producidas por hasta 12 compiladores o intérpretes diferentes, que cubren C/C++ (hasta el nivel SSE de 64 bits), Old Fortran, Basic y Java. Estos se basan en la relación MWIPS por MHz (multiplicada por 100) para representar la eficiencia. El resultado final es uno con una CPU Core i7 con calificaciones que varían de 0,39, a través del intérprete de Basic, a 311, a través de C, utilizando opciones SSE de 64 bits, luego 1003 con los puntos de referencia de subprocesos múltiples, utilizando los cuatro núcleos de CPU.
En 2017 se elaboró otro informe titulado “Whetstone Benchmark Detailed Later Results” [19]. Este documento proporciona un resumen de las velocidades de los ocho bucles de prueba en el benchmark, como MfLOPS o MOPS más las clasificaciones MWIPS. Hay 22 páginas de resultados que cubren las mismas PC basadas en Windows que el archivo histórico con diferentes compiladores y opciones de compilación, algunas con versiones multiproceso. Los resultados posteriores cubren PC que usan Linux. Luego hay otros para una muestra de teléfonos y tabletas Android y, en ese momento, la gama completa de computadoras Raspberry Pi. Para este último, Roy Longbottom había sido reclutado como miembro voluntario del equipo de pruebas alfa de nuevos productos de la Fundación Raspberry Pi.
Los resultados escalares, vectoriales y de subprocesamiento múltiple posteriores se incluyeron en un informe de 2022 “ Comparaciones del rendimiento de la supercomputadora Cray 1 con computadoras domésticas, teléfonos y tabletas”. [20] Esto incluía lo siguiente, originalmente en un informe sobre la primera computadora Raspberry Pi:
"En 1978, la supercomputadora Cray 1 costó 7 millones de dólares, pesaba 10.500 libras y tenía una fuente de alimentación de 115 kilovatios. Era, con diferencia, la computadora más rápida del mundo. La Raspberry Pi cuesta unos 70 dólares (placa de CPU, carcasa, fuente de alimentación, tarjeta SD), pesa unos pocos gramos, utiliza una fuente de alimentación de 5 vatios y es más de 4,5 veces más rápida que la Cray 1".
Esta afirmación se basó en el rendimiento promedio oficial del Livermore Loops Benchmark que se utilizó para demostrar que el primer Cray 1 cumplía con los requisitos contractuales requeridos. El Whetstone Benchmark escalar logró una ganancia mucho mayor de 16,7 veces la mejora. El informe incluye comparaciones con otras supercomputadoras, una PC portátil moderna bastante rápida y la Raspberry Pi 400 de 2020, donde esta última obtuvo ganancias MWIPS sobre el Cray 1 de 155 veces escalar, 38 vectoriales y 593 escalar multithreading (4 núcleos de CPU frente a 1). La computadora portátil de cuatro núcleos, utilizando compilaciones SIMD avanzadas , obtuvo ganancias de 400, 215 y 3520 veces respectivamente.
Los códigos fuente, los programas compilados y los informes de Whetstone Benchmark, incluidos los resultados, se encuentran actualmente (al momento de escribir este artículo) en el sitio web de Roy Longbottom roylongbottom.org.uk, pero éste tiene una vida útil limitada.
Para fines de referencia principal, los informes basados en HTML se convirtieron a formato PDF y se cargaron en ResearchGate. Se incluyen breves descripciones de todos los archivos en un archivo de indexación [21] (descárguelo a través de Más v para ver las opciones del menú). Lamentablemente, se modificó la estructura del archivo, lo que desactivó el acceso a la mayoría de los archivos comprimidos más antiguos que contienen códigos fuente de referencia y programas compilados.
El sitio web original ofrece el mismo formato de indexación pero incluye enlaces para acceder tanto a los archivos locales como a los de ResearchGate; el primero tiene opciones para descargar códigos de programa. [22]
Actualmente, y con suerte para un acceso duradero en el futuro, el sitio web de Wayback Machine Internet Archive ha capturado el sitio web en numerosas ocasiones, [23] pero no todas las capturas incluyen necesariamente archivos de programa comprimidos. Si se conoce el nombre del archivo, se pueden encontrar capturas disponibles, como por ejemplo benchnt.zip (copiar y modificar la dirección del enlace), [24]
El benchmark Whetstone mide principalmente el rendimiento aritmético de punto flotante . Un benchmark similar para operaciones con números enteros y cadenas es Dhrystone .
{{cite web}}: CS1 maint: DOI inactivo a partir de agosto de 2024 ( enlace )