Decisões Tomadas por IA

As decisões automatizadas não são um cenário futuro. Os sistemas já influenciam que candidaturas são lidas, que transações são suspensas, que casos são prioritários e que conteúdos são vistos.

A maior parte é descrita como apoio à decisão, e não como tomada de decisão. Essa distinção é real no papel e ténue na prática, porque o humano apoiado costuma concordar.

Um sistema pode ser mais exato do que uma pessoa e ainda assim ser a escolha errada. A exatidão mede a concordância com um resultado rotulado. O discernimento inclui ponderar valores que nunca constaram dos rótulos.

Pense numa decisão estatisticamente ótima e moralmente inaceitável num caso concreto. O modelo não tem acesso à dimensão em que está a falhar, porque essa dimensão nunca foi codificada.

Recorrer de uma decisão humana significa pedir a uma pessoa que reconsidere. Recorrer de uma decisão automatizada significa pedir a uma organização que aceite que o seu sistema estava errado, uma afirmação bem maior e com implicações orçamentais.

Junte-se o problema da explicação — muitas vezes o pessoal não consegue dizer porque é que o resultado foi aquele — e quem recorre está a discutir contra uma conclusão que ninguém consegue reconstruir por inteiro.

Uma linha razoável é esta: a automação é apropriada quando a decisão é reversível, os riscos são limitados, e existe uma via de recurso genuína, com um humano capaz de a anular.

Onde falte qualquer uma destas três condições, a automação deixa de ser uma questão de eficiência. É uma transferência de autoridade, e deve ser defendida nesses termos.

Em The Unread, as decisões que importam não são anunciadas. Aparecem como ausências: um registo que já não contém o que continha, um estatuto que mudou silenciosamente, uma pessoa que já ninguém procura.

É essa a forma que a autoridade automatizada mais frequentemente assume. Não um veredicto, mas uma correção que chega já aplicada.