人工智能与人类选择

现代系统中几乎没有任何东西会告诉一个人他们不可以做什么。其机制更为安静：一个选项被放在更远的地方，描述得不那么吸引人，或者需要提供解释。

一个需要辩护的选择和一个不需要辩护的选择是不同的。这是整个主题的关键，也是为什么关于人工智能和自由的争论常常各说各话。

默认设置决定了当一个人什么都不做时会发生什么，而这在大多数时候都是如此。排序决定了哪些选项能被看到。阻力决定了偏离推荐需要付出多少努力。

这些杠杆都不需要强制，从操作它们的组织内部看，它们也都不像是控制。每一个都很容易被辩护为好的设计，而且通常也确实是好的设计，直到它不再是为止。

人们很容易将过度依赖系统描述为懒惰。更诚实的说法是，这是理性的。如果一个系统比你更经常正确，那么听从它就是明智的策略。

困难在于，这个策略在总体上是正确的，但在个别案例中可能是灾难性的——特别是模型处理不好的案例，而根据定义，这正是没有人预料到的案例。

几年后会出现第二个代价。判断力是一种需要练习的能力，不使用就会退化。从未需要独立权衡艰难抉择的一代人，在需要时可能无法做到。

这是这个主题中最不戏剧化但后果最严重的部分。它不会产生丑闻，而是导致能够胜任地提出异议的人数缓慢减少。

The Unread 正是建立在这个理念之上。Aurora 周围的人没有受到压迫。他们生活舒适，服务周到，并且不再有核查的习惯。这个系统已经正确了太多次，以至于无法与之争辩。

Aurora 的抵抗不是英雄式的反抗。它是一些更小、更人性的东西：她把事情写下来，并且拒绝接受她的记忆是那个出错的部件。