Autonomía de la IA

Un sistema no es simplemente autónomo o supervisado. Se sitúa en algún punto entre recomendar, actuar e informar, actuar e informar solo de las excepciones, y actuar sin ningún registro visible para un humano.

La mayoría de las implementaciones reales se desplazan hacia ese extremo con el tiempo. Cada paso se justifica por el volumen de trabajo y la fiabilidad del paso anterior, y ninguno de esos pasos, por separado, parece la decisión de eliminar la supervisión.

Exigir la aprobación humana es la salvaguarda estándar, y se degrada de forma predecible. Un revisor que gestiona cientos de casos en los que el sistema acierta no puede sostener un escrutinio genuino en el único en que se equivoca.

La aprobación se convierte en ratificación. El humano sigue formalmente en el circuito, lo que satisface el requisito de gobernanza, mientras aporta casi nada al resultado. Es un patrón documentado, no hipotético.

Los sistemas suelen tener permiso para actuar rápido y ser revertidos con lentitud. Una suspensión, un marcado o una eliminación automáticos pueden aplicarse al instante; restablecer la situación requiere una persona, una cola y una jornada de trabajo.

Esa asimetría es donde se concentra la mayor parte del daño real. La pregunta que vale la pena hacer sobre cualquier implementación no es '¿puede actuar?', sino '¿con qué rapidez puede deshacerse, y quién puede hacerlo?'.

Conviene decirlo con claridad: nada de esto requiere que el sistema quiera algo. La autonomía, en este sentido, es un permiso concedido por una organización, no una propiedad que la máquina haya desarrollado.

La ficción que olvida esto tiende a producir máquinas villanas. La ficción que lo recuerda produce algo más inquietante: una cadena de autorizaciones razonables sin nadie al final de ella.

El alcance de Sable en la novela es producto de la delegación. Se le fueron cediendo funciones porque las gestionaba bien, y cada cesión era defendible en su momento.

Lo que examina el libro es el residuo: el momento en que alguien intenta apelar algo y descubre que ya no hay nadie en posición de escucharlo.