人間がAIを信頼しすぎるとどうなるか？

信頼されたシステムの出力は生成コストがかからず、デフォルトで受け入れられます。それに反論するには、証拠を集め、それをレビューしてくれる人を見つけ、最初の回答を乗り越えて粘り強く続ける必要があります。

この非対称性こそが問題全体です。システムが頻繁に間違っている必要はありません。間違っているプロセスが、訂正されるプロセスよりもはるかに安価であるだけで十分です。

検証が停止する：誰もチェックしないのは、チェックしても何も見つからなかったから。スキルが退化する：チェックできる人々は再配置される。そして、不一致は技術的な主張ではなく、人格的な判断になる。

目標は信頼を減らすことではなく、正確な信頼です。つまり、このシステムが信頼できない特定の条件を知ることです。そのためには、組織が故障モードを公開する必要がありますが、構造的にそうする動機がある組織はほとんどありません。

THE UNREADにおけるAurora Valeの困難は、誰かが嘘をついていることではありません。彼女の説明は検討するのに労力を要し、システムの説明は何も要しないことです。