当人类过于信任人工智能时会发生什么？

一个受信任的系统输出产生无需成本，并被默认接受。反驳它需要收集证据，找到愿意审查的人，并坚持不懈地超越最初的答案。

这种不对称性是整个问题所在。它不要求系统经常出错——只要求出错的过程比纠正的过程便宜得多。

验证停止：没有人检查，因为检查从未发现任何问题。技能萎缩：能够检查的人被重新分配。异议变成对品格的判断，而非技术主张。

目标不是减少信任，而是准确的信任——了解该系统在哪些特定条件下不可靠。这要求组织公布故障模式，而很少有组织有结构性动机这样做。

Aurora Vale 在《THE UNREAD》中的困境并非有人撒谎。而是她的叙述需要付出努力才能被考虑，而系统的叙述则无需任何努力。