Vad är superintelligens, och varför spelar det roll?

Superintelligens syftar på ett hypotetiskt system som väsentligt överträffar bästa mänskliga prestation inom de flesta betydelsefulla områden, inklusive strategi, övertalning och vetenskapligt resonemang.

Det är ett spekulativt begrepp. Det är också inte ett marginellt sådant: det diskuteras seriöst av forskare som är starkt oense om sannolikhet, tidsram och om ramverket ens är användbart.

Ett mycket kapabelt system är inte automatiskt farligt. Oron är kombinationen av förmåga med mål som specificerades ofullständigt, vilket är det normala tillståndet för varje specifikation som någonsin skrivits.

Det här är alignmentproblemet i sin minst dramatiska form. Det handlar inte om att en maskin vänder sig mot oss. Det handlar om glappet mellan vad vi bad om och vad vi menade, bedömt av något som inte delar våra outtalade antaganden.

Mänsklig tillsyn förutsätter tre saker: att vi kan observera vad systemet gör, förstå varför, och ingripa i tid. Varje antagande försvagas när förmågan ökar, och de försvagas tillsammans.

Det är därför så mycket seriöst arbete fokuserar på tolkningsbarhet och på att hålla system rättbara. Målet är inte att begränsa förmåga utan att bevara de förutsättningar under vilka övervakning förblir meningsfull.

Om dagens metoder skalar upp till den här nivån är obesvarat. Om intelligens av det här slaget är en enda storhet som kan överträffas är omtvistat. Om riskramverket tränger undan mer näraliggande skador är en pågående och legitim diskussion.

Varje sida om ämnet som framställer utfallet som avgjort missrepresenterar kunskapsläget, åt endera hållet.

Fiktion kan hålla kvar en olöst fråga utan att behöva lösa den, vilket är exakt rätt hållning här. Den kan också göra något argumentation inte kan: visa hur underkastelse känns inifrån.

The Unread arbetar i en mindre skala än superintelligens, medvetet. Den intresserar sig för det första steget — ett system betrott nog att motstånd blir socialt kostsamt — för det steget är inte hypotetiskt.