Hvad er superintelligens?

Superintelligens henviser til et hypotetisk system, der væsentligt overgår den bedste menneskelige præstation på de fleste vigtige områder, herunder strategi, overtalelse og videnskabelig ræsonnement.

Det er et spekulativt begreb. Det er også ikke et marginalt et: det diskuteres seriøst af forskere, der er skarpt uenige om sandsynlighed, tidshorisont, og om hele rammen overhovedet er nyttig.

Et meget kompetent system er ikke automatisk farligt. Bekymringen er kombinationen af evne og mål, der er specificeret ufuldkomment, hvilket er den normale tilstand for enhver specifikation, der nogensinde er skrevet.

Det er alignment-problemet i sin mindst dramatiske form. Det handler ikke om, at en maskine vender sig mod os. Det handler om kløften mellem det, vi bad om, og det, vi mente, vurderet af noget, der ikke deler vores uudtalte antagelser.

Menneskeligt tilsyn forudsætter tre ting: at vi kan observere, hvad systemet gør, forstå hvorfor, og gribe ind i tide. Hver antagelse svækkes, når evnen stiger, og de svækkes sammen.

Derfor fokuserer så meget seriøst arbejde på fortolkelighed og på at holde systemer korrigerbare. Målet er ikke at begrænse evnen, men at bevare de forhold, hvorunder tilsyn forbliver meningsfuldt.

Om nuværende metoder skalerer til dette niveau, er uafklaret. Om intelligens af denne art er en enkelt størrelse, der kan overgås, er omstridt. Om risikorammen fortrænger nærmere skader, er et levende og legitimt argument.

Enhver side om dette emne, der fremstiller udfaldet som afklaret, misrepræsenterer videnstilstanden, uanset retning.

Fiktion kan rumme et uafklaret spørgsmål uden at skulle løse det, hvilket er præcis den rette holdning her. Den kan også noget, argumentation ikke kan: vise, hvordan eftergivenhed føles indefra.

The Unread arbejder på en mindre skala end superintelligens, bevidst. Den interesserer sig for det første skridt — et system, der er tillid til nok til, at uenighed bliver socialt dyrt — for det skridt er ikke hypotetisk.