L'AGI dans la fiction

L'intelligence artificielle générale désigne un système hypothétique capable de transférer une compétence d'un problème à un autre, sans lien entre eux, à la manière d'une personne qui sait cuisiner et qui apprend aussi à conduire. C'est une affirmation sur l'étendue et le transfert, pas sur la vitesse ou l'échelle.

Elle reste hypothétique, et des personnes sérieuses ne s'accordent pas sur le fait que les approches actuelles y mènent. La fiction qui traite l'AGI comme un fait acquis fait un choix spéculatif, et les livres honnêtes rendent ce choix visible plutôt que de le glisser en douce.

La généralité est presque impossible à montrer directement. Un romancier peut représenter une machine qui gagne à un jeu, diagnostique une maladie, ou compose une symphonie — mais chaque démonstration reste étroite, et les cumuler ne transmet pas la chose elle-même.

Les auteurs se tournent alors vers des substituts : le système surprend ses créateurs, refuse un cadrage, reformule la question qu'on lui a posée. Ce sont des raccourcis, mais de bons raccourcis, car ils mettent en scène le transfert plutôt que la simple capacité.

La plupart des romans sur l'AGI ne sont pas des prédictions. Ce sont des arguments sur les institutions : est-ce qu'une organisation humaine est structurellement capable de superviser quelque chose qu'elle ne peut pas entièrement modéliser ?

C'est pourquoi une grande partie du genre se déroule dans des laboratoires, des conseils d'administration, des comités, des organes de contrôle. L'échec intéressant est procédural. Personne ne dort au volant ; il s'avère simplement que le volant n'est relié à rien.

La première est la dérive vers l'omniscience, où un système général devient discrètement un système qui sait tout, y compris des choses qu'aucune donnée ne pourrait contenir. La deuxième est la prise de contrôle instantanée, qui saute les années d'adoption où se joue la vraie histoire.

La troisième est la scène de l'aveu, où la machine explique ses motivations dans un français humain limpide. C'est satisfaisant, et presque toujours une facilité, car cela reconvertit un problème étranger en un problème familier.

The Unread ne fait aucune affirmation sur l'AGI comme étape technique. Sable n'est pas présenté comme un esprit général qui s'est réveillé ; il est présenté comme un système dont la portée a grandi plus vite que la capacité de quiconque à l'auditer.

Le livre s'intéresse à la version sociale de la question de l'AGI : à quel moment un système devient-il quelque chose que nous ne pouvons plus véritablement superviser, quel que soit le nom qu'on lui donne ?