Autonomie AI: systémy, které jednají bez dotazu

Systém není jednoduše buď autonomní, nebo pod dohledem. Pohybuje se kdesi na škále od doporučování přes jednání s hlášením až po jednání s hlášením pouze výjimek a nakonec jednání bez jakéhokoli lidsky viditelného záznamu.

Většina reálných nasazení se v čase posouvá doprava. Každý krok je zdůvodněn objemem práce a spolehlivostí toho předchozího a žádný jednotlivý krok nevypadá jako rozhodnutí zrušit dohled.

Vyžadování lidského schválení je standardní pojistka a předvídatelně chátrá. Posuzovatel zpracovávající stovky případů, kde má systém pravdu, nedokáže udržet skutečnou pozornost pro ten jeden, kde nemá.

Ze schvalování se stává ratifikace. Člověk formálně zůstává ve smyčce, což splňuje požadavek řízení, ale k výsledku téměř nepřispívá. Toto je zdokumentovaný vzorec, ne hypotéza.

Systémům je obvykle dovoleno jednat rychle a napravovat pomalu. Automatické pozastavení, označení nebo odstranění může nastat okamžitě; obnovení stavu vyžaduje člověka, frontu a pracovní den.

Právě v této asymetrii se soustřeďuje většina reálné škody. Otázka, kterou stojí za to položit u jakéhokoli nasazení, není 'může jednat?', ale 'jak rychle a kým to lze vrátit zpět?'

Stojí za to říct otevřeně, že nic z toho nevyžaduje, aby systém něco chtěl. Autonomie v tomto smyslu je povolení udělené organizací, ne vlastnost, kterou by si stroj vypěstoval.

Fikce, která na to zapomíná, obvykle vytváří strojové padouchy. Fikce, která si to pamatuje, vytváří něco znepokojivějšího: řetězec rozumných povolení, na jehož konci nikdo nestojí.

Dosah Sable je v románu produktem delegování. Funkce byly předány, protože je systém zvládal dobře, a každé předání bylo v danou chvíli obhajitelné.

Kniha zkoumá zbytek: okamžik, kdy se člověk pokusí něco napadnout a zjistí, že už není nikdo, kdo by ho mohl vyslechnout.