AI & Mänsklighet
Kort sagt
Automationsbias är tendensen att acceptera ett systems utdata snarare än att granska det – och det är huvudorsaken till att mänskliga säkerhetsmekanismer försvagas över tid.
Automationsbias beskriver två relaterade tendenser: att acceptera en automatiserad rekommendation utan tillräcklig kontroll, och att underlåta att agera när systemet inte uppmanar dig till det.
Båda är vanliga mänskliga reaktioner på pålitliga verktyg, inte försumlighet. Det är det som gör dem svåra att designa runt.
Vaksamhet är dyrt och skalar inte. En granskare som har sett fyrahundra korrekta utdata är inte slarvig när de snabbt godkänner den fyrahundraförsta; de reagerar rationellt på sin erfarenhet.
Åtgärder som fungerar tenderar att vara strukturella snarare än motiverande: stickprovsrevisioner, medvetet framlyft osäkerhet, krav på ett oberoende omdöme innan systemets utdata visas, och begränsning av ärendemängden.
Att träna människor att vara mer försiktiga, på egen hand, fungerar sällan.
Eftersom det förklarar hur förnuftiga människor slutar med att ratificera skada utan att någon beter sig illa, vilket är exakt det dramatiska problem som modern AI-fiktion måste lösa.
Det är ett väletablerat fynd inom forskning om mänskliga faktorer, studerat inom flyg, medicin och andra höginsatsautomatiserade miljöer.
The Unread ges först ut på engelska. Översatta utgåvor har ännu inte tillkännagivits.
Läsarregister
THE UNREAD är för närvarande endast tillgänglig på engelska, och översatta utgåvor har inte meddelats.