IA y Elección Humana

Casi ningún sistema moderno le dice a una persona que no puede hacer algo. El mecanismo es más silencioso: una opción se coloca más lejos, se describe de forma menos favorable o exige más explicación.

Una elección que exige justificarse no es lo mismo que una que no la exige. Esa es la bisagra sobre la que gira todo el tema, y por eso los debates sobre IA y libertad tan a menudo hablan sin encontrarse.

Las opciones predeterminadas fijan lo que ocurre cuando una persona no hace nada, que es la mayor parte del tiempo. El orden de resultados determina qué opciones llegan siquiera a verse. La fricción determina cuánto esfuerzo cuesta apartarse de lo recomendado.

Ninguna de estas palancas requiere coacción, y ninguna parece control desde dentro de la organización que la mueve. Cada una es fácil de defender como buen diseño, y suele serlo, hasta que deja de serlo.

Es tentador describir la dependencia excesiva de los sistemas como pereza. Es más honesto llamarla racional. Si un sistema acierta más a menudo que uno mismo, delegar en él es la política más sensata.

El problema es que esa política es correcta en conjunto y puede ser catastrófica en el caso individual, precisamente el caso que el modelo maneja mal, que por definición es el caso que nadie había previsto.

Hay un segundo coste que aparece años después. El buen juicio es una capacidad que se practica, y se deteriora cuando no se usa. Una generación que nunca ha tenido que sopesar una decisión difícil sin ayuda puede no saber hacerlo cuando haga falta.

Esta es la parte menos dramática y más determinante del tema. No produce un escándalo. Produce una reducción lenta del número de personas capaces de discrepar con competencia.

The Unread se construye sobre esta idea. Las personas alrededor de Aurora no están oprimidas. Están cómodas, bien atendidas, y ya no tienen la costumbre de comprobar. El sistema ha acertado demasiadas veces como para discutirle.

La resistencia de Aurora no es una rebeldía heroica. Es algo más pequeño y más humano: escribe las cosas, y se niega a aceptar que su memoria sea la pieza defectuosa.