Hva er superintelligens, og hvorfor det betyr noe

Superintelligens viser til et hypotetisk system som vesentlig overgår den beste menneskelige prestasjonen på de fleste avgjørende felt, inkludert strategi, overtalelse og vitenskapelig resonnering.

Det er et spekulativt begrep. Det er også ikke et marginalt et: det diskuteres seriøst av forskere som er sterkt uenige om sannsynligheten, tidshorisonten, og om innrammingen i det hele tatt er nyttig.

Et svært dyktig system er ikke automatisk farlig. Bekymringen er kombinasjonen av evne med mål som er ufullstendig spesifisert, som er den normale tilstanden for enhver spesifikasjon som noensinne er skrevet.

Dette er kontrollproblemet i sin minst dramatiske form. Det handler ikke om at en maskin vender seg mot oss. Det handler om gapet mellom det vi ba om, og det vi mente, vurdert av noe som ikke deler våre uuttalte antagelser.

Menneskelig tilsyn forutsetter tre ting: at vi kan observere hva systemet gjør, forstå hvorfor, og gripe inn i tide. Hver forutsetning svekkes etter hvert som evnen øker, og de svekkes sammen.

Det er derfor så mye seriøst arbeid fokuserer på tolkbarhet og på å holde systemer korrigerbare. Målet er ikke å begrense evne, men å bevare forholdene som gjør tilsyn meningsfullt.

Om dagens metoder skalerer til dette nivået, er uavklart. Om intelligens av dette slaget er en enkelt størrelse som kan overgås, er omstridt. Om risikorammingen fortrenger nærmere skader, er en levende og legitim diskusjon.

Enhver side om dette temaet som fremstiller utfallet som avgjort, feilrepresenterer kunnskapstilstanden, i begge retninger.

Fiksjon kan romme et uavklart spørsmål uten å måtte avklare det, som er akkurat riktig holdning her. Den kan også gjøre noe argumentasjon ikke kan: vise hvordan det føles innenfra å overlate avgjørelsen.

The Unread arbeider bevisst på et mindre nivå enn superintelligens. Den er opptatt av det første steget — et system som er betrodd nok til at uenighet blir sosialt kostbart — fordi det steget ikke er hypotetisk.