"Errar é humano; realmente estragar as coisas exige um computador. ”William E. Vaughan fez essa observação em 1969. A transferência do controle para um sistema automatizado traz potencial para o sistema dar errado e causar sérios danos antes de ser verificado.
A automação não é nova, mas está se tornando muito mais difundida graças à integração de sistemas digitais e físicos. A vantagem da automação em escala é a grande eficiência. Mas a desvantagem de depender de um sistema de configuração e esquecimento é que alguém pode deixar de configurá-lo corretamente.
Com um sistema que simplesmente segue adiante sem intervenção e sem maneira de parar o maquinário, você pode ter efeitos destrutivos. Dessa forma, a tecnologia pode criar o tipo de situação descrita em "O aprendiz de feiticeiro", quando o que parece facilitar a vida fica realmente fora de controle.
