Un accidente de sistema (o accidente normal ) es una "interacción imprevista de múltiples fallas" en un sistema complejo . [1] Esta complejidad puede ser de tecnología o de organizaciones humanas y frecuentemente es ambas. Un accidente del sistema puede ser fácil de ver en retrospectiva, pero extremadamente difícil de prever porque simplemente hay demasiadas vías de acción como para considerarlas todas seriamente. Charles Perrow desarrolló estas ideas por primera vez a mediados de los años 1980. [2] Los propios sistemas de seguridad son a veces la complejidad añadida que conduce a este tipo de accidentes. [3]
El piloto y autor William Langewiesche utilizó el concepto de Perrow en su análisis de los factores en juego en un desastre de aviación de 1996. Escribió en The Atlantic en 1998: "el control y la operación de algunas de las tecnologías más riesgosas requieren organizaciones tan complejas que prácticamente se garantiza que se producirán fallas graves". [4] [un]
En 2012, Charles Perrow escribió: "Un accidente normal [accidente del sistema] es cuando todos se esfuerzan por ir a lo seguro, pero la interacción inesperada de dos o más fallas (debido a la complejidad interactiva) causa una cascada de fallas (debido al estrecho acoplamiento). ". Perrow utiliza el término accidente normal para enfatizar que, dado el nivel actual de la tecnología, estos accidentes son muy probables a lo largo de varios años o décadas. [5] James Reason amplió este enfoque con la confiabilidad humana [6] y el modelo del queso suizo , ahora ampliamente aceptado en la seguridad de la aviación y la atención médica.
Estos accidentes a menudo se parecen a los dispositivos de Rube Goldberg en el sentido de que pequeños errores de juicio, fallas en la tecnología y daños insignificantes se combinan para formar un desastre emergente . Langewiesche escribe sobre "toda una realidad ficticia que incluye cadenas de mando inviables, programas de capacitación imposibles de aprender, manuales ilegibles y la ficción de regulaciones, verificaciones y controles". [4] Cuanta más formalidad y esfuerzo haya para hacerlo exactamente bien, a veces puede hacer que el fracaso sea más probable. [4] [b] Por ejemplo, es más probable que los empleados retrasen informar cualquier cambio, problema y condición inesperada, siempre que los procedimientos organizacionales involucrados en el ajuste a las condiciones cambiantes sean complejos, difíciles o laboriosos.
Una idea contrastante es la de la organización de alta confiabilidad . [7] En su evaluación de las vulnerabilidades de los sistemas complejos, Scott Sagan , por ejemplo, analiza en múltiples publicaciones su sólida confiabilidad, especialmente en lo que respecta a las armas nucleares. The Limits of Safety (1993) proporcionó una revisión extensa de situaciones similares durante la Guerra Fría que podrían haber resultado en una guerra nuclear por accidente. [8]
La Junta de Revisión del Apolo 13 declaró en la introducción del capítulo cinco de su informe: [énfasis añadido] [9]
... Se encontró que el accidente no fue el resultado de un mal funcionamiento fortuito en un sentido estadístico, sino que resultó de una combinación inusual de errores, junto con un diseño algo deficiente e implacable ...
- (g): Al revisar estos procedimientos antes del vuelo, los funcionarios de la NASA, ER y Beech no reconocieron la posibilidad de daños debido al sobrecalentamiento. Muchos de estos funcionarios no estaban al tanto del funcionamiento prolongado del calentador. En cualquier caso, se podría haber esperado que interruptores termostáticos adecuados protegieran el tanque.
Perrow consideró normal el accidente de Three Mile Island : [10]
Se parecía a otros accidentes ocurridos en plantas nucleares y en otros sistemas operador-máquina de alto riesgo, complejos y altamente interdependientes; Ninguno de los accidentes fue causado por la ineptitud de la administración o del operador o por una mala regulación gubernamental, aunque estas características existían y deberían haberse esperado. Sostuve que el accidente era normal, porque en sistemas complejos es probable que haya múltiples fallas que no pueden evitarse mediante planificación y que los operadores no pueden comprender de inmediato.
El 11 de mayo de 1996, el vuelo 592 de Valujet , un vuelo regular de ValuJet Airlines desde Miami International a Hartsfield-Jackson Atlanta, se estrelló unos 10 minutos después de despegar como resultado de un incendio en el compartimiento de carga causado por carga peligrosa almacenada y etiquetada incorrectamente. . Las 110 personas a bordo murieron. La aerolínea tenía un historial de seguridad deficiente antes del accidente. El accidente llamó la atención sobre los problemas de gestión de la aerolínea, incluida la formación inadecuada de los empleados en el manejo adecuado de materiales peligrosos. El manual de mantenimiento del avión MD-80 documentaba los procedimientos necesarios y era "correcto" en cierto sentido. Sin embargo, era tan grande que no resultó útil ni informativo. [4]
En una monografía de 2014, el economista Alan Blinder afirmó que los instrumentos financieros complicados dificultaban que los inversores potenciales juzgaran si el precio era razonable. En una sección titulada "Lección número 6: La complejidad excesiva no sólo es anticompetitiva, es peligrosa", afirmó además, "Pero el mayor peligro puede provenir de la opacidad. Cuando los inversores no comprenden los riesgos inherentes a los valores que comprar (ejemplos: el tramo intermedio de un CDO-Squared ; un CDS sobre un CDO sintético ...), se pueden cometer grandes errores, especialmente si las agencias de calificación te dicen que son triple A, es decir, lo suficientemente seguros para la abuela. Cuando llegue la crisis, las pérdidas pueden ser mucho mayores de lo que los inversores creían imaginables. Los mercados pueden secarse porque nadie sabe lo que realmente valen estos valores. Puede que se genere pánico. Por lo tanto, la complejidad per se es una fuente de riesgo. [11]
A pesar de un aumento significativo en la seguridad de los aviones desde la década de 1980, existe la preocupación de que los sistemas de vuelo automatizados se hayan vuelto tan complejos que aumentan los riesgos que surgen de la complicación excesiva y son incomprensibles para las tripulaciones que deben trabajar con ellos. A modo de ejemplo, los profesionales de la industria de la aviación señalan que estos sistemas a veces cambian o se activan por sí solos; La tripulación en la cabina no necesariamente está al tanto de la razón de su activación automática, lo que genera perplejidad. Langewiesche cita a la ingeniera industrial Nadine Sarter , quien escribe sobre "sorpresas de la automatización", a menudo relacionadas con modos del sistema que el piloto no comprende completamente o que el sistema cambia por sí solo. De hecho, una de las preguntas más comunes que se hacen hoy en las cabinas es: "¿Qué está haciendo ahora?" Langewiesche responde a esto señalando que la seguridad aérea se ha quintuplicado y escribe: "Nadie puede abogar racionalmente por un regreso al glamour del pasado". [12]
En un artículo titulado "El factor humano", Langewiesche analiza el accidente del vuelo 447 de Air France en 2009 sobre el Atlántico medio. Señala que, desde la década de 1980, cuando comenzó la transición a sistemas de cabina automatizados, la seguridad se ha quintuplicado. Langwiesche escribe: "En la privacidad de la cabina y más allá de la vista del público, los pilotos han sido relegados a roles mundanos como administradores de sistemas". Cita al ingeniero Earl Wiener, quien toma la humorística afirmación atribuida a la duquesa de Windsor de que nunca se puede ser demasiado rico ni demasiado delgado, y añade "o demasiado cuidadoso con lo que se pone en un sistema digital de guía de vuelo". Wiener dice que el efecto de la automatización suele ser reducir la carga de trabajo cuando es liviana, pero aumentarla cuando es pesada.
El ingeniero de Boeing, Delmar Fadden, dijo que una vez que se agregan capacidades a los sistemas de gestión de vuelos, su eliminación se vuelve increíblemente costosa debido a los requisitos de certificación. Pero si no se utiliza, en cierto sentido puede acechar en las profundidades sin ser visto. [12]
Los factores humanos en la implementación de procedimientos de seguridad desempeñan un papel en la eficacia general de los sistemas de seguridad. Los problemas de mantenimiento son comunes en los sistemas redundantes. Los equipos de mantenimiento pueden no lograr restaurar un sistema redundante al estado activo. Es posible que estén sobrecargados de trabajo o que el mantenimiento se haya aplazado debido a recortes presupuestarios, porque los gerentes saben que el sistema seguirá funcionando sin reparar el sistema de respaldo. [3] Los pasos de los procedimientos pueden cambiarse y adaptarse en la práctica, a partir de las reglas formales de seguridad, a menudo de manera que parezcan apropiadas y racionales, y pueden ser esenciales para cumplir con las limitaciones de tiempo y las demandas laborales. En un artículo de Safety Science de 2004 , que informa sobre una investigación apoyada parcialmente por la National Science Foundation y la NASA, Nancy Leveson escribe: [13]
Sin embargo, las instrucciones y los procedimientos escritos casi nunca se siguen exactamente mientras los operadores se esfuerzan por ser más eficientes y productivos y por hacer frente a las presiones de tiempo ... incluso en entornos tan altamente restringidos y de alto riesgo como las plantas de energía nuclear, se encuentran repetidamente modificaciones de las instrucciones. y la violación de las reglas parece bastante racional, dada la carga de trabajo real y las limitaciones de tiempo bajo las cuales los operadores deben realizar su trabajo. En estas situaciones, existe un conflicto básico entre el error visto como una desviación del procedimiento normativo y el error visto como una desviación del procedimiento eficaz racional y normalmente utilizado .
El pensamiento de Charles Perrow es más difícil de aceptar para pilotos como yo. Perrow llegó involuntariamente a su teoría sobre los accidentes normales después de estudiar los fallos de las grandes organizaciones. Su punto no es que algunas tecnologías sean más riesgosas que otras, lo cual es obvio, sino que el control y la operación de algunas de las tecnologías más riesgosas requieren organizaciones tan complejas que prácticamente se garantiza que se producirán fallas graves . Esas fallas ocasionalmente se combinarán de maneras imprevisibles, y si inducen más fallas en un entorno operativo de procesos estrechamente interrelacionados, las fallas se saldrán de control, frustrando todas las intervenciones.
— William Langewiesche (marzo de 1998), "Las lecciones de Valujet 592", p. 23 [Sección: "Un 'accidente normal ' "], El Atlántico
... los pilotos han sido relegados a roles mundanos como administradores de sistemas
... Desde la década de 1980, cuando comenzó el cambio, el historial de seguridad se ha quintuplicado, hasta llegar al actual accidente fatal por cada cinco millones de salidas. Nadie puede abogar racionalmente por un retorno al glamour del pasado.
... De hecho, una forma común que tienen los trabajadores de presionar a la gerencia sin llegar a declararse en huelga es 'trabajar para mandar', lo que puede llevar a una falla en la productividad e incluso al caos
...
Los accidentes tanto en Chernobyl como en Three Mile Island fueron provocados por fallas en los sistemas de seguridad.Descarga directa del artículo
Accidentes normales es una lectura esencial hoy en día para gerentes industriales, sociólogos organizacionales, historiadores de la tecnología y personas interesadas en la materia, porque muestra que una de las principales estrategias que los ingenieros han utilizado en este siglo para mantener bajo control las tecnologías peligrosas: múltiples capas de "fallo". Dispositivos de respaldo 'seguros': a menudo agregan un nivel peligroso de imprevisibilidad al sistema en su conjunto ...