Definição
Em resumo
O enviesamento de automação é a tendência para aceitar o resultado de um sistema em vez de o escrutinar — e é a principal razão por que as salvaguardas de supervisão humana se enfraquecem com o tempo.
O enviesamento de automação descreve duas tendências relacionadas: aceitar uma recomendação automatizada sem a verificar devidamente, e não agir quando o sistema não avisa que é preciso agir.
Ambas são respostas humanas comuns a ferramentas fiáveis, e não negligência. É isso que torna difícil desenhar soluções contra elas.
A vigilância é dispendiosa e não escala. Um revisor que viu quatrocentos resultados corretos não está a ser descuidado ao aprovar rapidamente o quadringentésimo primeiro; está a responder racionalmente à sua experiência.
As medidas que funcionam tendem a ser estruturais, e não motivacionais: auditorias por amostragem, incerteza deliberadamente destacada, exigir um julgamento independente antes de o resultado do sistema ser mostrado, e limitar o volume de casos.
Formar as pessoas para serem mais cuidadosas, por si só, quase sempre não resulta.
Porque explica como pessoas sensatas acabam por ratificar um dano sem que ninguém se comporte mal, que é exatamente o problema dramático que a ficção moderna de IA tem de resolver.
É um resultado bem estabelecido na investigação sobre fatores humanos, estudado na aviação, na medicina e noutros contextos automatizados de alto risco.
The Unread é publicado inicialmente em inglês. Edições traduzidas ainda não foram anunciadas.
Registo de leitores