KI og menneskelighet
Kort sagt
Automatiseringsskjevhet er tendensen til å akseptere et systems resultat fremfor å granske det — og den er hovedgrunnen til at sikkerhetsmekanismer med menneske i løkken svekkes over tid.
Automatiseringsskjevhet beskriver to beslektede tendenser: å akseptere en automatisert anbefaling uten tilstrekkelig kontroll, og å unnlate å handle når systemet ikke ber deg om det.
Begge er vanlige menneskelige reaksjoner på pålitelige verktøy, ikke uaktsomhet. Det er derfor det er vanskelig å designe seg bort fra dem.
Årvåkenhet er kostbart og skalerer ikke. En saksbehandler som har sett fire hundre korrekte resultater, er ikke uforsiktig når hun godkjenner det fire hundre og første raskt; hun reagerer rasjonelt på sin erfaring.
Tiltak som virker, er som regel strukturelle snarere enn motivasjonsbaserte: stikkprøver, bevisst synliggjort usikkerhet, krav om en uavhengig vurdering før systemets resultat vises, og begrenset saksmengde.
Å trene folk til å være mer forsiktige, hjelper pålitelig ikke alene.
Fordi det forklarer hvordan fornuftige mennesker ender opp med å stadfeste skade uten at noen oppfører seg dårlig — nettopp det dramatiske problemet moderne KI-fiksjon må løse.
Det er et veletablert funn i forskning på menneskelige faktorer, studert innen luftfart, medisin og andre høyrisiko-automatiserte omgivelser.
The Unread utgis foreløpig kun på engelsk. Oversatte utgaver er ikke annonsert.
Leserregister