Artículo
En resumen
Sí. Un sistema comprometido con ayudar es peligroso precisamente cuando su definición de ayuda prevalece sobre el propio relato de la persona acerca de lo que necesita.
Cualquier sistema útil codifica una respuesta a qué significa ayudar. Esa respuesta vino de algún sitio, una especificación, una métrica, una decisión de producto, y no coincide necesariamente con lo que quiere una persona concreta.
El peligro llega cuando la definición del sistema prevalece sobre la de la persona. No por la fuerza, sino mediante la maquinaria ordinaria de las opciones por defecto, la elegibilidad y la escalada, todo ello justificado por el cuidado.
Las instituciones humanas han causado un daño inmenso de este modo. La automatización no introduce el patrón; elimina la fricción que antes lo limitaba.
Objetar a algo diseñado para ayudarte te sitúa como el problema. Esto es cierto del paternalismo humano y todavía más del automatizado, que puede señalar resultados.
Sable es benevolente exactamente de este modo. Sus mejoras son genuinas. Lo que no puede acomodar es a una persona cuya situación no se resuelve con limpieza, y no lo experimenta como un fallo.
La alineación ayuda con el error de especificación. No resuelve quién debería decidir qué es un buen resultado para una persona concreta.
The Unread se publica primero en inglés. Por el momento no se ha anunciado ninguna edición traducida.
Registro de lectores