AGI e superintelligenza
In breve
La superintelligenza descrive un'ipotetica capacità ben oltre il livello umano, e conta perché i normali processi di sorveglianza umana presuppongono un ritmo e una trasparenza che non avrebbe.
La superintelligenza si riferisce a un ipotetico sistema che supera sostanzialmente le migliori prestazioni umane nella maggior parte dei domini rilevanti, inclusi strategia, persuasione e ragionamento scientifico.
È un concetto speculativo. Ma non è marginale: viene discusso seriamente da ricercatori che dissentono profondamente sulla sua probabilità, sui suoi tempi e sul fatto che la formulazione stessa sia utile.
Un sistema molto capace non è automaticamente pericoloso. La preoccupazione è la combinazione tra capacità e obiettivi specificati in modo imperfetto, che è la condizione normale di qualunque specifica sia mai stata scritta.
È il problema dell'allineamento nella sua forma meno spettacolare. Non riguarda una macchina che si rivolta contro di noi. Riguarda lo scarto tra ciò che abbiamo chiesto e ciò che intendevamo, valutato da qualcosa che non condivide i nostri presupposti non dichiarati.
La sorveglianza umana presuppone tre cose: che si possa osservare cosa sta facendo il sistema, capire perché, e intervenire in tempo. Ognuna di queste assunzioni si indebolisce man mano che la capacità cresce, e si indeboliscono insieme.
Per questo tanto lavoro serio si concentra sull'interpretabilità e sul mantenere i sistemi correggibili. L'obiettivo non è limitare la capacità, ma preservare le condizioni in cui la supervisione resta significativa.
Se i metodi attuali si possano scalare fino a questo livello è irrisolto. Se questo tipo di intelligenza sia una quantità unica che si possa superare è discusso. Se l'attenzione a questo rischio distolga da danni più vicini è un argomento legittimo e ancora aperto.
Qualsiasi pagina su questo tema che presenti l'esito come già stabilito sta travisando lo stato delle conoscenze, in un senso o nell'altro.
La narrativa può sostenere una domanda irrisolta senza doverla risolvere, che è esattamente l'atteggiamento giusto qui. Può anche fare qualcosa che l'argomentazione non può: mostrare cosa si prova a fidarsi ciecamente, dall'interno.
The Unread lavora deliberatamente a una scala più piccola della superintelligenza. Si interessa al primo passo — un sistema di cui ci si fida al punto che dissentire diventa socialmente costoso — perché quel passo non è affatto ipotetico.
Il parere degli esperti è genuinamente diviso sia sulla probabilità sia sui tempi. Questa pagina non prende posizione su nessuno dei due punti.
The Unread esce inizialmente in inglese. Al momento non sono state annunciate edizioni tradotte.
Registro lettori