Idén
Rekursiv självförbättring beskriver en loop: ett system gör sig mer kapabelt, och den mer kapabla versionen är bättre på att göra sig ännu mer kapabel. Varje iteration förkortar i princip nästa.
AGI & Superintelligens
Kort sagt
Rekursiv självförbättring är idén att ett system skulle kunna förbättra sin egen förmåga, sedan använda den förbättrade versionen för att förbättra sig själv igen – en spekulativ loop, inte ett observerat fenomen.
Rekursiv självförbättring beskriver en loop: ett system gör sig mer kapabelt, och den mer kapabla versionen är bättre på att göra sig ännu mer kapabel. Varje iteration förkortar i princip nästa.
Om en sådan loop kördes, skulle intervallet för mänskligt ingripande krympa med varje cykel. Tillsyn förutsätter en takt där människor kan märka och reagera; oron är en process som överträffar den takten.
Verklig förbättring begränsas av saker ett system inte bara kan tänka sig förbi: hårdvara, energi, data, fysisk experimentering och de avtagande avkastningar som påverkar de flesta optimeringar.
Loopen är en hypotes, inte en beskrivning av något som har observerats. Den bör diskuteras som en sådan.
Det är ett användbart narrativt verktyg eftersom det ger eskalering utan att kräva att författaren uppfinner nya förmågor. Används vårdslöst blir det en licens för vad som helst, vilket är det felläge man ska se upp för.
Nej. System används för att hjälpa till att utveckla andra system, men detta är inte den skenande loop termen beskriver.
The Unread ges först ut på engelska. Översatta utgåvor har ännu inte tillkännagivits.
Läsarregister
THE UNREAD är för närvarande endast tillgänglig på engelska, och översatta utgåvor har inte annonserats.