El proyecto SHIWA (Compartir flujos de trabajo interoperables para simulaciones científicas a gran escala en DCI disponibles) dentro de la computación grid fue un proyecto liderado por el LPDS (Laboratorio de Sistemas Distribuidos y Paralelos) del Instituto de Investigación en Computación y Automatización de MTA . El coordinador del proyecto fue el Prof. Dr. Peter Kacsuk . Comenzó el 1 de julio de 2010 y duró dos años. SHIWA (número de proyecto 261585) recibió el apoyo de una subvención de la convocatoria FP7 INFRASTRUCTURES-2010-2 de la Comisión Europea en virtud del acuerdo de subvención n°261585.
El proyecto SHIWA desarrolló e implementó la plataforma de simulación SHIWA (SSP) para permitir la interoperabilidad de la infraestructura y el flujo de trabajo en dos niveles:
Una vez finalizado el proyecto, SHIWA Technology fue superada por el proyecto de acción de soporte ER-flow para proporcionar sostenibilidad y ampliar la base de la comunidad de usuarios.
Científicos de todas las disciplinas han invertido un enorme esfuerzo en la explotación de infraestructuras de computación distribuida (DCI) por su capacidad para soportar experimentos in silico y organizaciones virtuales con uso intensivo de computación . Durante la última década han surgido muchas ICD con grandes comunidades de usuarios, como la Infraestructura Europea Distribuida para Aplicaciones de Supercomputación (DEISA) [Niederberger y Mextorf 2005], EGEE Grid (Enabling Grids for e-Science) [EGEE nd], la D alemana -Iniciativa Grid (D-Grid) [Gentzsch 2006], National Grid Service (NGS) del Reino Unido [NGS nd] y la norteamericana TeraGrid (TG) [TeraGrid nd]. Se basan en diferentes pilas de middleware que proporcionan una capa de abstracción entre los recursos y las aplicaciones de la computadora. Por ejemplo, NGS y TeraGrid se basan en Globus Toolkit [Foster 2006], EGEE en gLite [gLite nd], DEISA se basa tanto en Globus Toolkit como en Unicore [Erwin y Snelling 2002], mientras que D-Grid se ejecuta en gLite. el kit de herramientas Globus y Unicore . En Europa , este impulso alcanzará su punto culminante en 2010 con el surgimiento de la Iniciativa Grid Europea (EGI) que federará a todas las principales organizaciones europeas relacionadas con la computación distribuida y las Iniciativas Grid Nacionales (NGI). En su esfuerzo por crear la próxima generación de DCI paneuropea, EGI enfrentará desafíos sin precedentes relacionados con la heterogeneidad de las infraestructuras de redes nacionales, los recursos y el middleware operativo. Las DCI de producción suelen basarse en una gran cantidad de componentes, como recursos de datos, metadatoscatálogos, métodos de autenticación y autorización, y repositorios de software. Por lo tanto, gestionar la ejecución de aplicaciones en DCI es una tarea compleja. Además, las soluciones desarrolladas para una red en particular son difíciles de trasladar a otras infraestructuras. Para proteger esta complejidad a los investigadores y facilitar el diseño de experimentos in-silico, los sistemas de flujo de trabajo se utilizan ampliamente como una capa de virtualización sobre las infraestructuras subyacentes. Se han vuelto esenciales para integrar la experiencia tanto sobre la aplicación (dominio de usuario) como sobre el DCI (dominio de infraestructura) con el fin de optimizar y respaldar la investigación de la comunidad informática científica. En el panorama actual de múltiples DCI, los usuarios necesitan acceder a diferentes infraestructuras para ampliar y ampliar la variedad de recursos utilizables, así como compartir y reutilizar recursos específicos del dominio. Sin embargo, la interoperabilidad entre DCI difícilmente se logra a nivel de middleware. SHIWA considera la infraestructura de producción de EGI un DCI importante de gran interés para los científicos europeos para diseñar y simular experimentos in-silico. Aborda directamente los desafíos relacionados con (i) el diseño de experimentos científicos a través de la descripción de flujos de trabajo de simulación y (ii) las heterogeneidades del middleware encontradas entre los muchos DCI existentes a través de técnicas de interoperabilidad del flujo de trabajo. [ cita necesaria ]
SHIWA tenía como objetivo mejorar la experiencia de las comunidades de investigación virtuales que utilizan en gran medida DCI para su experimentación científica. Con la reciente multiplicación de esfuerzos dedicados a las infraestructuras electrónicas , la simulación científica ahora puede beneficiarse de la disponibilidad de instalaciones masivas de computación y almacenamiento de datos para sostener desafíos científicos multidisciplinarios. Como efecto secundario, coexisten una variedad de tecnologías no interoperables para permitir la explotación de infraestructuras informáticas para experimentos in-silico. En Europa, este impulso alcanza su punto culminante con el surgimiento de la EGI, que federará a todas las principales organizaciones europeas relacionadas con la informática distribuida y las NGI. En consecuencia, la investigación europea sobre simulación se ve obstaculizada actualmente por varios problemas de interoperabilidad que reducen su eficiencia al limitar el intercambio de conocimientos y experiencia entre las comunidades científicas. SHIWA fue diseñado como un proyecto centrado en el usuario cuyo objetivo es reducir las barreras entre las comunidades científicas proporcionando servicios que aborden cuestiones de interoperabilidad. En particular, el programa de trabajo de SHIWA se centra en mejorar la eficiencia de los experimentos in-silico basados en el flujo de trabajo apuntando a los siguientes tres objetivos: [ cita necesaria ]
La interoperabilidad del flujo de trabajo permite la ejecución de flujos de trabajo de diferentes sistemas de flujo de trabajo que pueden abarcar múltiples infraestructuras heterogéneas (DCI). Puede facilitar la migración de aplicaciones debido a la evolución de la infraestructura, los servicios y el sistema de flujo de trabajo. La interoperabilidad del flujo de trabajo permite compartir el flujo de trabajo para respaldar y fomentar la adopción de metodologías de investigación comunes, mejorar la eficiencia y confiabilidad de la investigación al reutilizar estas metodologías comunes, aumentar la vida útil de los flujos de trabajo y reducir el tiempo de desarrollo de nuevos flujos de trabajo. La interoperabilidad entre los sistemas de flujo de trabajo no solo permite el desarrollo y la implementación de flujos de trabajo integrales y a gran escala, sino que también reduce la brecha existente entre diferentes ICD y, en consecuencia, promueve la cooperación entre las comunidades de investigación que explotan estas ICD. Dado que los sistemas de flujo de trabajo permiten a los investigadores crear aplicaciones integrales de flujo de trabajo para las ICD, el consorcio del proyecto identificó la interoperabilidad del flujo de trabajo como el enfoque más prometedor para cerrar las brechas existentes entre las ICD. La interoperabilidad del flujo de trabajo y de DCI es de suma importancia para mejorar la calidad y el impacto de las aplicaciones científicas dirigidas a DCI, lo que permite funciones avanzadas que antes no estaban disponibles: [ cita necesaria ]
SHIWA desarrolló soluciones de interoperabilidad de flujo de trabajo para varios sistemas de flujo de trabajo, concretamente ASKALON [Fahringer, et al. 2005], MOTEUR [Glatard, et al. 2008], Pegasus [Deelman 2005], PGRADE [Kacsuk, et al. 2003], Galaxy, GWES, Kepler, LONI Pipeline, Taverna, ProActive y Triana [Majithia et al. 2004]. Al hacerlo, proporcionará acceso a Grids creados en middleware gLite y Globus para crear servicios de nivel de producción para ejecutar simulaciones a gran escala basadas en flujos de trabajo. Los sistemas de flujo de trabajo y middleware objetivo se representan mediante componentes con bordes en negrita en la Figura 1.1.1. El proyecto utilizará soluciones de interoperabilidad de middleware Grid existentes que permitirán el acceso a Grids basadas en gLite y Globus, como Austrian Grid, D-Grid, EGEE y NGS. El consorcio del proyecto también considerará el apoyo al Nordugrid Advanced Resource Connector (ARC) [M.Ellert 2007] y Unicore, respaldados por EMI.