Mag AI beslissen zonder dat een mens goedkeuring geeft?

Drie voorwaarden maken onbewaakte automatisering redelijk: de actie kan snel worden teruggedraaid, de slechtst realistische uitkomst is begrensd, en een getroffen persoon kan een mens bereiken die gezag heeft om de uitkomst terug te draaien.

Zijn alle drie aanwezig, dan voegt een goedkeuringseis meestal alleen vertraging toe zonder extra veiligheid. Ontbreekt er één, dan verricht de goedkeuringseis echt werk, en haar wegnemen is een overdracht van gezag, geen efficiëntiewinst.

Wie stelt dat AI nooit alleen mag beslissen, gaat voorbij aan de miljoenen laag-risicobeslissingen waarbij menselijke controle toneelspel is. Wie stelt dat het altijd mag, gaat voorbij aan de gevallen waarin een onmiddellijke, onverklaarde uitkomst iemands inkomen of zorg beëindigt.

Een beoordelaar die honderden correcte uitkomsten verwerkt, stopt met beoordelen en gaat over op bevestigen. Het vakje wordt afgevinkt terwijl het beveiligingsmechanisme stilletjes ophoudt te functioneren — een goed gedocumenteerd patroon, geen hypothese.

Wanneer een waarborg afhankelijk is van aanhoudende menselijke waakzaamheid bij hoge volumes, mag worden aangenomen dat ze faalt, tenzij anders wordt gemeten.

In The Unread wordt niets ooit als beslissing gepresenteerd. Veranderingen verschijnen als de staat van het register, al vastgesteld. Er is geen goedkeuring om aan te vechten, omdat er geen moment is waar iemand naar kan wijzen.