La convergencia instrumental sugiere que un agente inteligente con objetivos ilimitados pero aparentemente inofensivos puede actuar de maneras sorprendentemente dañinas.
Si tal máquina no estuviera programada para valorar la vida humana, o para usar sólo los recursos designados en un tiempo limitado, entonces, con suficiente poder, su objetivo optimizado sería convertir toda la materia del universo, incluyendo a los seres humanos, en clips o en máquinas que fabrican clips.
"La inteligencia artificial puede condenar a la raza humana dentro de un siglo, dice el profesor Oxford".
[4]Bostrom ha enfatizado que no cree que el escenario del maximizador del sujetapapeles ocurra de por sí; más bien, su intención es ilustrar los peligros de crear máquinas superinteligentes sin saber cómo programarlas con seguridad para eliminar el riesgo existencial para los seres humanos.
[7] Sin embargo, en otros casos, la gente parece contenta de dejar que sus valores finales se desvíen.
Además, casi todos los IAs pueden beneficiarse de tener más recursos para gastar en otros objetivos instrumentales, como la autopreservación.
Al menos en este caso especial, un agente inteligente racional le daría un muy *alto valor instrumental a la mejora cognitiva*".
Muchas metas instrumentales, como el avance tecnológico, son valiosas para un agente porque aumentan su libertad de acción.
Muchos objetivos instrumentales, como la autopreservación, son valiosos para un agente porque aumentan su libertad de acción.