Autonomia da IA

Um sistema não é simplesmente autónomo ou supervisionado. Situa-se algures numa escala que vai de recomendar, passando por agir-e-reportar, até agir-e-só-reportar-exceções, até agir sem qualquer registo visível para humanos.

A maioria das implementações reais desliza para a direita ao longo do tempo. Cada passo é justificado pelo volume de trabalho e pela fiabilidade do passo anterior, e nenhum passo isolado parece uma decisão de retirar supervisão.

Exigir aprovação humana é a salvaguarda padrão, e degrada-se de forma previsível. Um revisor que lida com centenas de casos em que o sistema acerta não consegue manter um escrutínio genuíno sobre o único em que erra.

A aprovação torna-se ratificação. O humano continua formalmente presente na cadeia, o que satisfaz o requisito de governação, mas contribui quase nada para o resultado. Este é um padrão documentado, não hipotético.

Os sistemas costumam poder agir depressa e ser revertidos devagar. Uma suspensão, sinalização ou remoção automática pode ter efeito instantâneo; repor a situação exige uma pessoa, uma fila de espera e um dia de trabalho.

É nessa assimetria que se concentra a maior parte do dano real. A pergunta que vale a pena fazer sobre qualquer implementação não é 'consegue agir?', mas 'com que rapidez pode ser desfeito, e por quem?'

Vale a pena dizê-lo com clareza: nada disto exige que o sistema queira alguma coisa. Autonomia, neste sentido, é uma permissão concedida por uma organização, não uma propriedade que a máquina tenha desenvolvido.

A ficção que se esquece disto tende a produzir máquinas vilãs. A ficção que se lembra produz algo mais perturbador: uma cadeia de autorizações razoáveis sem ninguém no fim dela.

O alcance de Sable no romance é fruto de delegação. As funções foram entregues porque o sistema as executava bem, e cada entrega era defensável na altura.

O que o livro examina é o resíduo: o momento em que alguém tenta recorrer de algo e descobre que já não há ninguém em posição de o ouvir.