Wyjaśnienie pojęcia
W skrócie
Efekt automatyzacji to skłonność do przyjmowania wyniku systemu bez odpowiedniej weryfikacji — i to główny powód, dla którego zabezpieczenia z udziałem człowieka słabną z czasem.
Efekt automatyzacji opisuje dwie powiązane skłonności: przyjmowanie zautomatyzowanej rekomendacji bez odpowiedniego sprawdzenia oraz brak działania, gdy system tego nie sugeruje.
Obie są zwyczajnymi ludzkimi reakcjami na niezawodne narzędzia, nie zaniedbaniem. To właśnie utrudnia projektowanie zabezpieczeń przed nimi.
Czujność jest kosztowna i nie skaluje się. Osoba, która widziała czterysta poprawnych wyników, nie jest niedbała, zatwierdzając czterysta pierwszy szybko; reaguje racjonalnie na swoje doświadczenie.
Skuteczne środki mają charakter strukturalny, nie motywacyjny: audyty próbkowe, celowo eksponowana niepewność, wymóg niezależnego osądu przed pokazaniem wyniku systemu i ograniczanie liczby spraw.
Samo szkolenie ludzi, by byli ostrożniejsi, niezmiennie zawodzi.
Bo to wyjaśnia, jak rozsądni ludzie kończą, ratyfikując krzywdę, choć nikt się źle nie zachował — a to dokładnie ten dramatyczny problem, który musi rozwiązać współczesna fikcja o SI.
To dobrze ugruntowane ustalenie w badaniach czynnika ludzkiego, badane w lotnictwie, medycynie i innych zautomatyzowanych środowiskach wysokiego ryzyka.
The Unread ukazuje się najpierw po angielsku. Przekłady nie zostały dotąd zapowiedziane.
Rejestr czytelników