这个想法
递归自我改进描述了一个循环:一个系统使自己能力更强,而能力更强的版本在使自己能力更强方面做得更好。原则上,每次迭代都会缩短下一次迭代的时间。
AGI 与超智能
简要回答
递归自我改进是指一个系统能够提升自身能力,然后利用提升后的版本再次改进自身——这是一个推测性的循环,而非已观察到的现象。
递归自我改进描述了一个循环:一个系统使自己能力更强,而能力更强的版本在使自己能力更强方面做得更好。原则上,每次迭代都会缩短下一次迭代的时间。
如果这样的循环运行起来,人类干预的时间间隔将随着每个周期而缩短。监督假设了一个人类能够注意到并做出反应的速度;担忧的是一个超越这个速度的过程。
真正的改进受到系统无法简单地通过思考来克服的限制:硬件、能源、数据、物理实验以及影响大多数优化的收益递减。
这个循环是一个假设,而不是对任何已观察到的现象的描述。它应该被当作一个假设来讨论。
它是一个有用的叙事工具,因为它提供了升级而无需作者发明新的能力。如果使用不当,它就会成为万能的许可证,这是需要警惕的失败模式。
不。系统被用来辅助开发其他系统,但这并非该术语所描述的失控循环。
读者名录
THE UNREAD 目前仅提供英文版,暂无中文译本发布计划。