AI-etik: Vem avgör vad en AI får göra?

Debatter om AI-etik fastnar ofta i vilka värden ett system borde ha, som om värdena vore det svåra. Den svårare frågan är byråkratisk: vem hade rätt att bestämma, och för vems räkning?

Ett system som används i miljontals interaktioner kodar in ett fastställt svar på omtvistade moraliska frågor. Det gör det tyst, i stor skala, och oftast utan att de berörda har tillfrågats.

Samtycke: godkände den berörda personen att detta avgörs av ett system? Ansvar: finns det en namngiven person som kan hållas ansvarig? Återkallbarhet: går beslutet att ångra, och hur snabbt?

Bestridbarhet: kan en berörd person göra en invändning som har realistisk chans att lyckas? De fyra är mer användbara än abstrakt debatt, eftersom var och en har ett observerbart svar för varje konkret system.

Den vanligaste motiveringen för ett automatiserat beslut är att systemet presterar bättre i genomsnitt. Det stämmer ofta och räcker nästan aldrig.

Genomsnitt fördelas ojämnt. Ett system som förbättrar utfallet för de flesta men gör det dramatiskt sämre för en viss minoritet kan vara försvarbart som policy och ohållbart för personen som står framför dig.

Policyarbete är bra på ramverk och svagt på detaljrikedom. Det har svårt att förmedla hur det känns att vara undantaget, att höra att processen följdes, att ha rätt och inte kunna visa det.

Fiktion klarar precis det. Den kan hålla kvar läsaren i ett enda felhanterat fall i trehundra sidor, vilket ingen konsekvensbedömning kan göra.

The Unread argumenterar inte för att Sable inte borde existera. Den ställer en snävare och mer obekväm fråga: när systemets version och en persons minne skiljer sig åt, vilken räknas då som bevis?

Allt annat i romanen följer av det. Etiken finns inte i tekniken. Den finns i vem som blir trodd.