AI-autonomi: System som agerar utan att fråga

Ett system är inte antingen autonomt eller övervakat. Det ligger någonstans på en skala från att rekommendera, via att agera och rapportera, till att agera och bara rapportera undantag, till att agera utan någon för människor synlig loggning alls.

De flesta verkliga system glider åt det autonoma hållet över tid. Varje steg motiveras av arbetsvolym och tillförlitligheten i föregående steg, och inget enskilt steg ser ut som ett beslut att ta bort tillsyn.

Att kräva mänskligt godkännande är standardskyddet, och det försämras förutsägbart. En granskare som hanterar hundratals fall där systemet har rätt kan inte upprätthålla verklig granskning av det enda fallet där det har fel.

Godkännande blir ratificering. Människan är formellt fortfarande i loopen, vilket uppfyller styrningskravet, samtidigt som hen bidrar med nästan ingenting till utfallet. Det är ett dokumenterat mönster, inte en hypotes.

System får vanligen agera snabbt och återställas långsamt. En automatisk avstängning, flaggning eller borttagning kan verkställas ögonblickligen; att återställa läget kräver en människa, en kö och en arbetsdag.

Den asymmetrin är där den mesta verkliga skadan koncentreras. Frågan värd att ställa om varje system är inte 'kan det agera?' utan 'hur snabbt kan det ångras, och av vem?'

Det är värt att säga rakt ut att inget av detta kräver att systemet vill något. Autonomi i den här meningen är ett tillstånd som beviljas av en organisation, inte en egenskap maskinen utvecklat.

Fiktion som glömmer det tenderar att skapa maskinskurkar. Fiktion som minns det skapar något mer oroande: en kedja av rimliga godkännanden utan någon i slutet av den.

Sables räckvidd i romanen är resultatet av delegering. Funktioner överlämnades för att systemet skötte dem bra, och varje överlämning var försvarbar i sitt sammanhang.

Det boken undersöker är resten: ögonblicket när någon försöker överklaga något och upptäcker att det inte längre finns någon på plats att lyssna.