Un accidente de sistema (o accidente normal ) es una "interacción imprevista de múltiples fallas" en un sistema complejo . [1] Esta complejidad puede ser de tecnología o de organizaciones humanas y con frecuencia es de ambas. Un accidente de sistema puede ser fácil de ver en retrospectiva, pero extremadamente difícil en previsión porque simplemente hay demasiadas vías de acción para considerarlas todas seriamente. Charles Perrow desarrolló estas ideas por primera vez a mediados de la década de 1980. [2] Los propios sistemas de seguridad son a veces la complejidad añadida que conduce a este tipo de accidente. [3]
El piloto y autor William Langewiesche utilizó el concepto de Perrow en su análisis de los factores que intervinieron en un desastre de aviación ocurrido en 1996. En 1998 escribió en The Atlantic : "el control y el funcionamiento de algunas de las tecnologías más riesgosas requieren organizaciones tan complejas que está prácticamente garantizado que se produzcan fallos graves". [4] [a]
En 2012, Charles Perrow escribió: "Un accidente normal [accidente de sistema] es aquel en el que todos intentan con todas sus fuerzas jugar a lo seguro, pero la interacción inesperada de dos o más fallos (debido a la complejidad interactiva) provoca una cascada de fallos (debido a un acoplamiento estrecho)". Perrow utiliza el término accidente normal para enfatizar que, dado el nivel actual de tecnología, es muy probable que tales accidentes ocurran a lo largo de varios años o décadas. [5] James Reason amplió este enfoque con la fiabilidad humana [6] y el modelo del queso suizo , ahora ampliamente aceptado en la seguridad de la aviación y la atención sanitaria.
Estos accidentes suelen parecerse a los dispositivos de Rube Goldberg en el sentido de que pequeños errores de juicio, fallas en la tecnología y daños insignificantes se combinan para formar un desastre emergente . Langewiesche escribe sobre "toda una realidad ficticia que incluye cadenas de mando inviables, programas de capacitación imposibles de aprender, manuales ilegibles y la ficción de regulaciones, verificaciones y controles". [4] Cuanto más formal y más esfuerzo se haga para que todo salga exactamente como debe ser, a veces puede hacer que el fracaso sea más probable. [4] [b] Por ejemplo, los empleados tienen más probabilidades de demorar la notificación de cambios, problemas y condiciones inesperadas cuando los procedimientos organizacionales involucrados en la adaptación a condiciones cambiantes son complejos, difíciles o laboriosos.
Una idea contrastante es la de la organización de alta confiabilidad . [7] En su evaluación de las vulnerabilidades de los sistemas complejos, Scott Sagan , por ejemplo, analiza en múltiples publicaciones su robusta confiabilidad, especialmente en lo que respecta a las armas nucleares. The Limits of Safety (1993) proporcionó una revisión extensa de situaciones de riesgo durante la Guerra Fría que podrían haber resultado en una guerra nuclear por accidente. [8]
La Junta de Revisión del Apolo 13 afirmó en la introducción del capítulo cinco de su informe: [énfasis añadido] [9]
...Se encontró que el accidente no fue el resultado de un mal funcionamiento fortuito en sentido estadístico, sino más bien el resultado de una combinación inusual de errores, junto con un diseño algo deficiente e implacable ...
- (g): Al revisar estos procedimientos antes del vuelo, los funcionarios de la NASA, ER y Beech no reconocieron la posibilidad de daños debido al sobrecalentamiento. Muchos de estos funcionarios no estaban al tanto del funcionamiento prolongado del calentador. En cualquier caso, se podría haber esperado que los interruptores termostáticos adecuados protegieran el tanque.
Perrow consideró normal el accidente de Three Mile Island : [10]
Se parecía a otros accidentes en plantas nucleares y en otros sistemas de alto riesgo, complejos y altamente interdependientes entre operadores y máquinas; ninguno de los accidentes fue causado por la ineptitud de la dirección o de los operadores o por una mala regulación gubernamental, aunque estas características existían y se deberían haber esperado. Sostuve que el accidente fue normal, porque en los sistemas complejos es inevitable que haya múltiples fallas que no se pueden evitar mediante planificación y que los operadores no pueden comprender de inmediato.
El 11 de mayo de 1996, el vuelo 592 de Valujet , un vuelo regular de ValuJet Airlines desde el Aeropuerto Internacional de Miami hasta Hartsfield–Jackson Atlanta, se estrelló unos 10 minutos después de despegar como resultado de un incendio en el compartimento de carga causado por una carga peligrosa mal almacenada y etiquetada. Las 110 personas a bordo murieron. La aerolínea tenía un pobre historial de seguridad antes del accidente. El accidente atrajo la atención generalizada sobre los problemas de gestión de la aerolínea, incluida la capacitación inadecuada de los empleados en el manejo adecuado de materiales peligrosos. El manual de mantenimiento del avión MD-80 documentaba los procedimientos necesarios y era "correcto" en cierto sentido. Sin embargo, era tan extenso que no fue ni útil ni informativo. [4]
En una monografía de 2014, el economista Alan Blinder afirmó que los instrumentos financieros complicados dificultaban a los inversores potenciales juzgar si el precio era razonable. En una sección titulada "Lección nº 6: La complejidad excesiva no sólo es anticompetitiva, sino también peligrosa", añadió: "Pero el mayor peligro puede provenir de la opacidad. Cuando los inversores no entienden los riesgos inherentes a los valores que compran (ejemplos: el tramo mezzanine de un CDO-Squared ; un CDS sobre un CDO sintético ...), se pueden cometer grandes errores, especialmente si las agencias de calificación te dicen que son triple A, es decir, lo suficientemente seguros para la abuela. Cuando llegue la crisis, las pérdidas pueden ser, por tanto, mucho mayores de lo que los inversores soñaban. Los mercados pueden secarse porque nadie sabe cuánto valen realmente estos valores. Puede instalarse el pánico. Por tanto, la complejidad en sí es una fuente de riesgo". [11]
A pesar de que desde los años 1980 la seguridad de los aviones ha aumentado considerablemente, existe la preocupación de que los sistemas de vuelo automatizados se hayan vuelto tan complejos que no solo aumentan los riesgos que surgen de la excesiva complicación, sino que además resultan incomprensibles para las tripulaciones que deben trabajar con ellos. Como ejemplo, los profesionales de la industria aeronáutica señalan que, a veces, estos sistemas se activan o se activan por sí solos; la tripulación en la cabina no necesariamente conoce la razón de su activación automática, lo que genera perplejidad. Langewiesche cita a la ingeniera industrial Nadine Sarter , que escribe sobre las "sorpresas de la automatización", a menudo relacionadas con modos del sistema que el piloto no entiende del todo o a los que el sistema cambia por sí solo. De hecho, una de las preguntas más habituales que se hacen en las cabinas de mando hoy en día es "¿Qué está haciendo ahora?". En respuesta a esto, Langewiesche señala el aumento de cinco veces en la seguridad de la aviación y escribe: "Nadie puede defender racionalmente un regreso al glamour del pasado". [12]
En un artículo titulado "El factor humano", Langewiesche analiza el accidente del vuelo 447 de Air France en 2009 sobre el Atlántico medio. Señala que, desde los años 80, cuando comenzó la transición a sistemas de cabina automatizada, la seguridad se ha quintuplicado. Langwiesche escribe: "En la privacidad de la cabina y fuera de la vista del público, los pilotos han sido relegados a funciones mundanas como administradores de sistemas". Cita al ingeniero Earl Wiener, quien toma la declaración humorística atribuida a la duquesa de Windsor de que uno nunca puede ser demasiado rico o demasiado delgado, y agrega "o demasiado cuidadoso con lo que se pone en un sistema de guía de vuelo digital". Wiener dice que el efecto de la automatización es típicamente reducir la carga de trabajo cuando es ligera, pero aumentarla cuando es pesada.
El ingeniero de Boeing Delmar Fadden dijo que una vez que se añaden capacidades a los sistemas de gestión de vuelo, resulta imposible eliminarlas debido a los requisitos de certificación. Pero si no se utilizan, en cierto sentido pueden estar escondidas en las profundidades sin que nadie las vea. [12]
Los factores humanos en la implementación de los procedimientos de seguridad juegan un papel en la efectividad general de los sistemas de seguridad. Los problemas de mantenimiento son comunes con los sistemas redundantes. Los equipos de mantenimiento pueden no poder restablecer un sistema redundante a su estado activo. Pueden estar sobrecargados de trabajo o el mantenimiento puede verse postergado debido a recortes presupuestarios, porque los gerentes saben que el sistema seguirá funcionando sin reparar el sistema de respaldo. [3] Los pasos de los procedimientos pueden cambiarse y adaptarse en la práctica, a partir de las reglas de seguridad formales, a menudo de maneras que parecen apropiadas y racionales, y pueden ser esenciales para cumplir con las limitaciones de tiempo y las demandas de trabajo. En un artículo de Safety Science de 2004 , que informa sobre una investigación parcialmente financiada por la National Science Foundation y la NASA, Nancy Leveson escribe: [13]
Sin embargo, las instrucciones y los procedimientos escritos casi nunca se siguen exactamente, ya que los operadores se esfuerzan por ser más eficientes y productivos y por lidiar con las presiones de tiempo ... incluso en entornos tan restringidos y de alto riesgo como las centrales nucleares, se encuentran modificaciones de instrucciones en repetidas ocasiones y la violación de las reglas parece ser bastante racional, dada la carga de trabajo real y las limitaciones de tiempo bajo las cuales los operadores deben hacer su trabajo. En estas situaciones, existe un conflicto básico entre el error, visto como una desviación del procedimiento normativo , y el error, visto como una desviación del procedimiento racional y normalmente utilizado .
El pensamiento de Charles Perrow es más difícil de aceptar para los pilotos como yo. Perrow llegó involuntariamente a su teoría sobre los accidentes normales después de estudiar los fallos de las grandes organizaciones. Su argumento no es que algunas tecnologías sean más riesgosas que otras, lo cual es obvio, sino que el control y el funcionamiento de algunas de las tecnologías más riesgosas requieren organizaciones tan complejas que está prácticamente garantizado que se produzcan fallos graves . En ocasiones, esos fallos se combinarán de maneras imprevisibles y, si inducen más fallos en un entorno operativo de procesos estrechamente interrelacionados, los fallos se saldrán de control y frustrarán todas las intervenciones.
— William Langewiesche (marzo de 1998), "Las lecciones del Valujet 592", pág. 23 [Sección: "Un 'accidente normal ' "], The Atlantic
... los pilotos han sido relegados a funciones mundanas como administradores de sistemas
... Desde los años 1980, cuando comenzó el cambio, el historial de seguridad se ha quintuplicado, hasta llegar al actual récord de un accidente mortal por cada cinco millones de despegues. Nadie puede defender racionalmente un regreso al glamour del pasado.
... De hecho, una forma habitual de que los trabajadores presionen a la dirección sin llegar a declararse en huelga es "trabajar según las normas", lo que puede provocar una caída de la productividad e incluso el caos
...
Los accidentes de Chernóbil y Three Mile Island fueron provocados por sistemas de seguridad defectuosos.Descarga directa del artículo
Accidentes normales es una lectura esencial hoy en día para gerentes industriales, sociólogos organizacionales, historiadores de la tecnología y personas interesadas por igual, porque muestra que una de las principales estrategias que los ingenieros han utilizado en este siglo para mantener las tecnologías peligrosas bajo control (múltiples capas de dispositivos de respaldo "a prueba de fallas") a menudo agrega un nivel peligroso de imprevisibilidad al sistema en su conjunto ...