オートメーションバイアスとは何か？

オートメーションバイアスは、2つの関連する傾向を説明します。適切な確認なしに自動化された推奨を受け入れること、そしてシステムが促さないときに何も行動しないことです。

どちらも信頼できるツールに対する通常の人間的反応であり、過失ではありません。それが、それらを設計で回避するのが難しい理由です。

警戒はコストがかかり、スケールしません。400件の正しい出力を確認したレビュー担当者が、401件目を迅速に承認しても、それは不注意ではありません。彼らは自分の経験に合理的に反応しているのです。

効果的な対策は、動機付けよりも構造的なものになる傾向があります。サンプリング監査、意図的に表面化された不確実性、システムの出力が表示される前に独立した判断を要求すること、そしてケースロードの制限です。

人々にもっと注意深くするよう訓練するだけでは、確実に効果はありません。

なぜなら、それは分別のある人々が、誰も悪意なく害を承認してしまう経緯を説明するからです。これは、現代のAIフィクションが解決しなければならないまさにドラマチックな問題です。