Lamento a perda de 74 vidas humanas no acidente ferroviário ocorrido ontem, em Toledo, Espanha. Às 8h30, uma avaria informática no sistema de segurança provocou a paragem automática de seis comboios de alta velocidade, AVE. Às 8h36, o centro de controlo de Madrid autorizou um a retomar a marcha, apesar de outro comboio permanecer imobilizado na mesma via, 25 quilómetros à frente. Às 8h53, este AVE embateu na traseira do outro.
Durante esses 17 minutos, o centro de controlo dispunha da informação de que a via estava ocupada. A responsabilidade criminal dos intervenientes será apurada pela justiça espanhola. Mas existe uma questão anterior: como foi possível que uma decisão humana contrariasse as condições de segurança que tinham determinado a paragem dos comboios? STOP é STOP.
É precisamente este o princípio do firewall ontológico que tenho vindo a defender para o lugar paralelo a inteligência artificial. Não basta programar uma máquina para reconhecer o perigo e ordenar a paragem. É necessário impedir, por conceção, que essa decisão seja contrariada enquanto persistirem as condições que a justificaram. É uma questão de hardware, não de software. E, para o que realmente interessa, de vidas humanas.
Luis Miguel Novais
