인간이 AI를 너무 많이 신뢰하면 어떤 일이 발생할까요?

신뢰받는 시스템의 결과물은 생성하는 데 비용이 들지 않으며 기본적으로 수용됩니다. 이를 반박하려면 증거를 수집하고, 검토할 의향이 있는 사람을 찾고, 초기 답변을 넘어 지속해야 합니다.

이 비대칭성이 전체 문제입니다. 시스템이 자주 틀릴 필요는 없습니다. 단지 틀리는 과정이 수정되는 과정보다 훨씬 저렴하기만 하면 됩니다.

검증이 중단됩니다. 아무도 확인하지 않습니다. 왜냐하면 확인해서 아무것도 찾은 적이 없기 때문입니다. 기술이 퇴화합니다. 확인할 수 있는 사람들은 재배치됩니다. 그리고 불일치는 기술적인 주장이 아니라 인격적인 판단이 됩니다.

목표는 신뢰를 줄이는 것이 아니라 정확한 신뢰입니다. 이 시스템이 어떤 특정 조건에서 신뢰할 수 없는지 아는 것입니다. 이를 위해서는 조직이 실패 모드를 공개해야 하지만, 구조적으로 그렇게 할 동기가 있는 곳은 거의 없습니다.

THE UNREAD에서 Aurora Vale의 어려움은 누구도 거짓말을 하고 있다는 것이 아닙니다. 그녀의 설명은 고려하는 데 노력이 필요하고, 시스템의 설명은 아무런 노력이 필요하지 않다는 것입니다.