Rozporządzenie o sztucznej inteligencji czyli AI Act zawiera kilka ciekawych przepisów, które łatwo przeoczyć. Oto dwa z nich.
Automation bias
W AI Act znajduje się bardzo ciekawy przepis dot. tzw. automation bias. Po polsku ten termin został przetłumaczony jako błąd automatyzacji.
Otóż zgodnie z art. 14 system AI wysokiego ryzyka udostępnia się w taki sposób, by osoby nadzorujące jego działanie mogły być świadome ryzyka tzw. „błędu automatyzacji”, czyli automatycznego lub nadmiernego polegania na wynikach działania systemu, zwłaszcza gdy system służy do udzielania informacji lub zaleceń wspierających decyzje ludzi.
To ryzyko jest całkiem realne i zostało już opisane w szeregu prac badawczych. I występuje nie tylko przy korzystaniu z systemów AI wysokiego ryzyka, ale przy korzystaniu z dowolnych systemów AI.
To jest np. zaniechanie sprawdzenia pięćdziesiątego z kolei tłumaczenia przygotowanego przez system AI w sytuacji, gdy poprzednie 49 tłumaczeń było prawidłowych. To zaprzestanie trzymania rąk na kierownicy Tesli z Autopilotem po kilkudziesięciu godzinach jazdy z tym systemem na autostradzie, gdy system prawidłowo reagował na sytuację na drodze.
Błąd automatyzacji w praktyce
W tym kontekście polecam ciekawą rozmowę z Natalia Hatalska na łamach XYZ, w która mowa jest m.in. o tym, jak generatywna AI może zaburzać nasze myślenie krytyczne, zwłaszcza gdy traktujemy ją z dużym zaufaniem oraz o problemie oddawania AI kontroli nad zadaniami, w których jesteśmy naprawdę dobrzy, zamiast traktować AI jako narzędzie wspomagające.
Systemy AI wysokiego ryzyka muszą być „idiot-proof”
Inny ciekawy przepis AI Act to definicja „dającego się racjonalnie przewidzieć niewłaściwego wykorzystania”.
Zgodnie z art. 3 pkt 13 jest to użycie systemu AI w sposób niezgodny z jego przeznaczeniem, wynikające z dającego się racjonalnie przewidzieć zachowania człowieka lub interakcji z innymi systemami, w tym z innymi systemami AI.
Tego rodzaju wymóg przywodzi na myśl ideę projektowania odpornego na niewłaściwe wykorzystanie (tzw. idiot-proof), które minimalizuje ryzyko szkód nawet przy najbardziej nieostrożnym posługiwaniu się systemem.
Do tej pory była to głównie dobra praktyka inżynierska, służąca bezpieczeństwu użytkowników i ograniczaniu ryzyka prawnego, jednak według AI Act ma to być również wymóg prawny w odniesieniu do systemów AI wysokiego ryzyka.
Dostawcy tych systemów zostaną zobowiązani do oceny możliwego zagrożenia związanego z ich nieprawidłowym użyciem oraz do szczegółowego opisania w instrukcjach wszystkich znanych lub przewidywalnych okoliczności mogących prowadzić do niewłaściwego wykorzystania.
Przykłady urządzeń zaprojektowanych w sposób „idiot-proof” spotykamy na co dzień. Należą do nich między innymi gniazda elektryczne z blokadą uniemożliwiającą włożenie do nich przedmiotu przez dziecko oraz karty SIM z charakterystycznym wycięciem, które nie pozwala na błędne włożenie. W przypadku systemów AI zaprojektowanie odpowiednich zabezpieczeń może być jednak o wiele bardziej złożone.
Ciekawi mnie, czy w konsekwencji systemy AI wysokiego ryzyka będą zawierały ostrzeżenia podobne do ostrzeżeń znanych już z niektórych etykiet np. „Nie prasować ubrań na sobie” lub „Nie prać zwierząt domowych”.
