초지능이란 무엇인가?

초지능은 전략, 설득, 과학적 추론을 포함하여 중요한 대부분의 영역에서 최고의 인간 성능을 상당히 초과하는 가상의 시스템을 말합니다.

이는 추측적인 개념입니다. 또한 비주류 개념도 아닙니다. 가능성, 시기, 그리고 그 프레임워크가 유용한지에 대해 첨예하게 의견이 다른 연구자들에 의해 진지하게 논의됩니다.

매우 유능한 시스템이 자동적으로 위험한 것은 아닙니다. 우려는 능력과 불완전하게 명시된 목표의 조합입니다. 이는 지금까지 작성된 모든 사양의 정상적인 상태입니다.

이것이 가장 덜 극적인 형태의 정렬 문제입니다. 기계가 우리에게 등을 돌리는 것에 대한 것이 아닙니다. 그것은 우리가 요청한 것과 우리가 의미한 것 사이의 간격에 대한 것이며, 우리의 말하지 않은 가정을 공유하지 않는 무언가에 의해 평가됩니다.

인간의 감독은 세 가지를 가정합니다: 우리가 시스템이 무엇을 하는지 관찰할 수 있고, 왜 그런지 이해할 수 있으며, 제때에 개입할 수 있다는 것. 각 가정은 능력이 상승함에 따라 약화되며, 함께 약화됩니다.

이것이 왜 그렇게 많은 진지한 연구가 해석 가능성과 시스템을 수정 가능하게 유지하는 데 초점을 맞추는 이유입니다. 목표는 능력을 제한하는 것이 아니라 감독이 의미 있게 유지되는 조건을 보존하는 것입니다.

현재의 방법들이 이 수준까지 확장될 수 있는지 여부는 미해결입니다. 이런 종류의 지능이 초과될 수 있는 단일한 양인지 여부는 논쟁의 여지가 있습니다. 위험 프레임워크가 더 가까운 해악을 밀어내는지 여부는 활발하고 정당한 논쟁입니다.

이 주제에 대한 어떤 페이지든 결과를 확정된 것으로 제시한다면, 어느 방향으로든 지식의 상태를 잘못 표현하는 것입니다.

픽션은 해결할 필요 없이 미해결된 질문을 붙들 수 있으며, 이는 바로 여기서 올바른 자세입니다. 또한 주장이 할 수 없는 일을 할 수 있습니다: 위임이 내부에서 어떻게 느껴지는지 보여주는 것.

The Unread는 의도적으로 초지능보다 작은 규모에서 작동합니다. 그것은 첫 번째 단계, 즉 불일치가 사회적으로 비용이 많이 들 정도로 신뢰받는 시스템에 관심이 있습니다. 왜냐하면 그 단계는 가상적이지 않기 때문입니다.