KI-autonomi: Systemer som handler uten å spørre

Et system er ikke bare autonomt eller overvåket. Det befinner seg et sted på en skala fra å anbefale, via å handle-og-rapportere, til å handle-og-bare-rapportere-unntak, til å handle uten noen menneskelig synlig oversikt i det hele tatt.

De fleste reelle bruksområder glir mot høyre over tid. Hvert steg begrunnes med arbeidsmengden og påliteligheten til forrige steg, og ingen enkeltbeslutning ser ut som en beslutning om å fjerne tilsyn.

Å kreve menneskelig godkjenning er standardsikringen, og den svekkes forutsigbart. En saksbehandler som håndterer hundrevis av tilfeller der systemet har rett, kan ikke opprettholde reell granskning av det ene tilfellet der det tar feil.

Godkjenning blir stadfesting. Mennesket er formelt fortsatt i loopen, noe som tilfredsstiller styringskravet, mens det bidrar med nesten ingenting til utfallet. Dette er et dokumentert mønster, ikke et hypotetisk.

Systemer får som regel handle raskt og bli reversert langsomt. En automatisk suspensjon, flagging eller fjerning kan tre i kraft øyeblikkelig; å gjenopprette situasjonen krever en person, en kø og en arbeidsdag.

Den asymmetrien er der mesteparten av den virkelige skaden konsentreres. Spørsmålet verdt å stille om enhver bruk er ikke «kan det handle?», men «hvor raskt kan det omgjøres, og av hvem?»

Det er verdt å si rett ut at ingenting av dette krever at systemet ønsker seg noe. Autonomi i denne betydningen er en tillatelse gitt av en organisasjon, ikke en egenskap maskinen har utviklet.

Fiksjon som glemmer dette, produserer ofte maskin-skurker. Fiksjon som husker det, produserer noe mer foruroligende: en kjede av fornuftige godkjenninger uten noen ved enden av den.

Sables rekkevidde i romanen er et produkt av delegering. Funksjoner ble overført fordi systemet håndterte dem godt, og hver overføring var forsvarlig på det tidspunktet.

Det boken undersøker, er det som blir igjen: øyeblikket når en person prøver å klage på noe, og oppdager at det ikke lenger finnes noen som er posisjonert til å høre på det.