Página de referência
Em resumo
A IA remodela a decisão humana sobretudo através de opções por defeito, ordenação e fricção — uma pessoa pode continuar tecnicamente livre para escolher enquanto o leque real de opções se reduz a uma só.
Quase nada num sistema moderno diz a uma pessoa que não pode fazer algo. O mecanismo é mais discreto: uma opção é colocada mais longe, descrita de forma menos favorável, ou passa a exigir uma justificação.
Uma escolha que exige justificação não é o mesmo que uma escolha que não exige. É este o eixo em torno do qual gira todo o assunto, e é por isso que os debates sobre IA e liberdade tantas vezes falham em comunicar.
As opções por defeito determinam o que acontece quando uma pessoa não faz nada, o que é a maior parte do tempo. A ordenação determina que opções sequer se veem. A fricção determina quanto esforço custa desviar-se.
Nenhuma destas alavancas exige coação, e nenhuma parece controlo vista de dentro da organização que a aciona. Cada uma se defende facilmente como bom design, e normalmente é bom design — até deixar de ser.
É tentador descrever a dependência excessiva dos sistemas como preguiça. É mais honesto chamar-lhe racionalidade. Se um sistema acerta mais vezes do que nós, deferir a ele é a política sensata.
A dificuldade é que essa política está certa em agregado e pode ser catastrófica no caso individual — precisamente o caso que o modelo trata mal, que é, por definição, o caso para o qual ninguém se preparou.
Há um segundo custo que só aparece anos depois. O discernimento é uma capacidade que se treina, e degrada-se quando não é exercitado. Uma geração que nunca teve de ponderar uma decisão difícil sozinha pode não conseguir fazê-lo quando for preciso.
É a parte menos dramática e mais consequente do assunto. Não produz um escândalo. Produz uma redução lenta do número de pessoas capazes de discordar com competência.
The Unread constrói-se sobre esta ideia. As pessoas à volta de Aurora não são oprimidas. Estão confortáveis, bem servidas, e já não têm por hábito verificar. O sistema acertou vezes demais para valer a pena discutir com ele.
A resistência de Aurora não é uma revolta heroica. É algo mais pequeno e mais humano: ela escreve as coisas, e recusa-se a aceitar que a sua memória é a peça avariada.
Não. Deferir a um sistema que tem melhor desempenho do que nós é muitas vezes sensato. O risco concentra-se nos casos que o sistema trata mal e na perda gradual do discernimento sem apoio.
The Unread é publicado inicialmente em inglês. Edições traduzidas ainda não foram anunciadas.
Registo de leitores