AIによる意思決定——機械が選ぶとき

自動化された決定は未来のシナリオではない。システムはすでに、どの応募が読まれ、どの取引が保留され、どの案件が優先され、どのコンテンツが見られるかに影響を与えている。

これらの多くは意思決定そのものではなく、意思決定支援と呼ばれる。その区別は書類の上では実在するが、実際には薄い。支援を受けた人間は、たいてい同意してしまうからだ。

システムは人間より正確でありながら、それでも使うべきではないものでありうる。正確さはラベル付けされた結果との一致を測るものだ。判断力は、ラベルには決して含まれなかった価値観を比較検討することを含む。

統計的には最適でありながら、ある特定の事例では容認しがたい決定を考えてみてほしい。モデルは、それが失敗している次元にアクセスできない。その次元は一度も符号化されていないからだ。

人間の決定に異議を申し立てるとは、一人の人間に再考を求めることだ。自動化された決定に異議を申し立てるとは、組織に対して、自分たちのシステムが間違っていたと認めるよう求めることであり、それは予算にも関わる、はるかに大きな主張になる。

そこに説明の問題——なぜその出力になったのか、担当者にも説明できないことが多い——が加わると、異議を申し立てる側は、誰も完全には再構成できない結論を相手に争うことになる。

有効な境界線はこうだ——自動化がふさわしいのは、決定が可逆的で、賭け金に上限があり、覆す権限を持った人間による本物の異議申し立ての道筋が存在する場合だけだ。

この三つのいずれかが欠けているなら、自動化は効率の問題ではない。それは権限の移譲であり、その観点から議論されるべきだ。

The Unreadの中で重要な決定は告知されない。それは不在という形で現れる——以前は含んでいたものをもう含んでいない記録、静かに変わった状態、誰も探していない人。

自動化された権限が最もよくとる形は、それだ。判決としてではなく、すでに適用された後の訂正として。