Begrebsafklaring
Kort fortalt
Automatiseringsbias er tendensen til at acceptere et systems resultat frem for at granske det — og er den vigtigste grund til, at menneskelige sikkerhedsforanstaltninger svækkes over tid.
Automatiseringsbias beskriver to beslægtede tendenser: at acceptere en automatiseret anbefaling uden tilstrækkelig kontrol, og at undlade at handle, når systemet ikke selv gør opmærksom på noget.
Begge er almindelige menneskelige reaktioner på pålidelige værktøjer, ikke forsømmelighed. Det er det, der gør dem svære at designe sig ud af.
Årvågenhed er dyrt og skalerer ikke. En gennemganger, der har set fire hundrede korrekte resultater, er ikke skødesløs, når han hurtigt godkender det fire hundrede-og-første; han reagerer rationelt på sin erfaring.
Foranstaltninger, der virker, er som regel strukturelle frem for motiverende: stikprøvekontrol, bevidst fremhævet usikkerhed, krav om en uafhængig vurdering, før systemets resultat vises, og begrænset sagsmængde.
At træne folk til at være mere omhyggelige virker, alene, pålideligt ikke.
Fordi det forklarer, hvordan fornuftige mennesker ender med at godkende skade, uden at nogen opfører sig dårligt, hvilket er præcis det dramatiske problem, moderne AI-fiktion skal løse.
Det er et veletableret fund i human factors-forskning, undersøgt inden for luftfart, medicin og andre højrisiko-automatiserede miljøer.
The Unread udkommer indtil videre kun på engelsk. Oversatte udgaver er ikke annonceret.
Læserregister