Besluitvorming door AI

Geautomatiseerde beslissingen zijn geen toekomstscenario. Systemen beïnvloeden al welke aanvragen worden gelezen, welke transacties worden aangehouden, welke zaken voorrang krijgen en welke content wordt getoond.

De meeste hiervan worden beschreven als besluitsondersteuning in plaats van besluitvorming. Dat onderscheid is echt op papier en dun in de praktijk, omdat de ondersteunde mens meestal instemt.

Een systeem kan nauwkeuriger zijn dan een mens en toch het verkeerde middel zijn om te gebruiken. Nauwkeurigheid meet overeenstemming met een gelabelde uitkomst. Oordeelsvermogen weegt waarden die nooit in de labels zaten.

Denk aan een beslissing die statistisch optimaal is en in een bepaald geval onverantwoord. Het model heeft geen toegang tot de dimensie waarop het faalt, omdat die dimensie nooit is gecodeerd.

Een menselijke beslissing aanvechten betekent iemand vragen om te heroverwegen. Een geautomatiseerde beslissing aanvechten betekent een organisatie vragen te erkennen dat haar systeem fout zat, wat een veel grotere claim is met budgettaire gevolgen.

Voeg daar het uitlegprobleem aan toe — medewerkers kunnen vaak niet zeggen waarom de uitkomst was wat ze was — en de indiener bestrijdt een conclusie die niemand volledig kan reconstrueren.

Een werkbare regel luidt: automatisering past waar de beslissing omkeerbaar is, de inzet begrensd is, en er een reëel beroepstraject bestaat met een mens die bevoegd is de uitkomst terug te draaien.

Ontbreekt een van deze drie, dan is automatisering geen efficiëntievraag. Het is een overdracht van gezag, en die moet op die gronden worden bepleit.

In The Unread worden de beslissingen die ertoe doen niet aangekondigd. Ze verschijnen als afwezigheden: een register dat niet langer bevat wat het bevatte, een status die stilletjes is veranderd, iemand naar wie niemand meer zoekt.

Dat is de vorm die geautomatiseerd gezag meestal aanneemt. Geen vonnis, maar een correctie die al toegepast arriveert.