Niedawno rządowy Ośrodek Przetwarzania Danych udostępnił uczelniom rozwiązanie służące do wykrywania w pracach dyplomowych fragmentów wygenerowanych przez system sztucznej inteligencji. Ministerstwo Nauki i Szkolnictwa Wyższego Informacja poinformowało o tym w ramach komunikatu zatytułowanego „JSA – promotor sprawdzi, czy student korzystał z technologii ChatGPT”.

Rozwiązanie to jest opisane w następujący sposób:

„Metoda detekcji wdrożona do systemu JSA opiera się na hipotezie, że im większa regularność w tekście, tym jest większe prawdopodobieństwo, że został on wytworzony przez model językowy. Założenie takie ma swoje źródło w zastosowanym algorytmie, który jest w stanie wygenerować tekst regularny i przewidywalny. – Model zastosowany w JSA został przeszkolony na dużym zbiorze danych tekstowych. Jego działanie najprościej wytłumaczyć stosując miarę Perplexity.”

Wzmianka o przeszkoleniu na dużym zbiorze danych tekstowych sugeruje, że jest to rozwiązanie będące same systemem AI.

Przyjmując zatem założenie, że jest to system sztucznej inteligencji, spróbujmy zastanowić się,  jak taki system byłby zaklasyfikowany w świetle rozporządzenia o sztucznej inteligencji (AI Act). Rozporządzenie co prawda jeszcze nie zostało opublikowane, a jego wejście w życie nastąpi dopiero 2 lata po publikacji, tym niemniej moim zdaniem już teraz warto zacząć się przymierzać do stosowania tych przepisów.

Klasyfikacja systemu AI

Moim zdaniem omawiany system byłby systemem AI wysokiego ryzyka jako system AI stosowany w edukacji i przeznaczony do wykorzystywania w celu oceny efektów nauczania (Załącznik III.3.b do AI Act).

Można uniknąć klasyfikacji tego systemu jako systemu AI wysokiego ryzyka w przypadku uznania go za system, który nie stwarza znaczącego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw podstawowych osób fizycznych, w tym nie wpływa w istotny sposób na wynik procesu decyzyjnego.

Zgodnie z art. 6.2a AI Act taka sytuacja zachodzi w szczególności w następujących przypadkach:

• system AI wykonuje wąskie zadanie proceduralne;
• system AI poprawia wynik wcześniej wykonanej przez człowieka czynności;
• system AI wykrywa wzorce decyzyjne lub odchylenia od wcześniejszych wzorców decyzyjnych i nie ma na celu zastąpienia lub wpłynięcia na wcześniej zakończoną ocenę człowieka, bez odpowiedniej weryfikacji przez człowieka;
• system AI wykonuje zadanie przygotowawcze do oceny istotnej dla przypadków użycia systemu wysokiego ryzyka wskazanych w załączniku III AI Act.

Jest możliwe, że omawiany system jest systemem wykonującym wąskie zadanie proceduralne. Moim zdaniem taka klasyfikacja tego systemu byłaby jednak nieuzasadniona.

Możliwość skorzystania z ww. wyłączeń dotyczy bowiem tylko takich sytuacji, gdy ryzyko związane z ocenianym system jest ograniczone i „nie wpływa w istotny sposób na wynik procesu decyzyjnego”.

Autorzy narzędzia wskazują uczciwie w jego opisie, że

„Stworzenie narzędzia, które by wskazywało czy autor tekstu korzystał lub nie ze sztucznej inteligencji, jest aktualnie praktycznie niemożliwe. Aby takie rozwiązanie mogło zaistnieć, należałoby z większą dokładnością identyfikować wszystkie charakterystyczne cechy tekstu napisanego przez człowieka oraz cechy tekstu wygenerowanego przy użyciu narzędzi sztucznej inteligencji.  Jedną z przeszkód do stworzenia tak dokładnego narzędzia jest stałe rozwijanie modeli, na których opierają się generatory tekstów. Kolejnym problemem jest to, że zarówno tekst generowany przez SI może być realistyczny i trudny do odróżnienia od tekstu naturalnego, jak również tekst naturalny może posiadać cechy wygenerowane automatycznie (np. definicje, reguły, schematy).„

Samo wskazanie w instrukcji obsługi, że system może generować tzw. fałszywe pozytywy czyli „niepoprawne zidentyfikowanie tekstu lub jego fragmentu, jako wygenerowanego przez sztuczną inteligencję”, wydaje się jednak niewystarczające, gdyż nadal istnieje ryzyko, że oceniający pracę może błędnie posądzić jej autora o próbę „oszukiwania” przy pomocy systemów AI.

Potencjalny zakres szkody, którą może wyrządzić korzystanie z takiego systemu przez osobę nie do końca rozumiejącą zasadę jego działania i jego ograniczenia, wydaje się znaczny z punktu widzenia studenta – autora ocenianej pracy. Dodatkowo system będzie wykorzystywany w sytuacji, w której występuje nierównowaga sił pomiędzy osobą dotkniętą negatywnymi skutkami działania systemu (studentem) a użytkownikiem systemu AI (nauczycielem akademickim), który ma wyższy status i prawo podejmowania decyzji bezpośrednio wpływających na osobę ocenianą.

W rezultacie sądzę, że omawiany system byłby systemem AI wysokiego ryzyka niekorzystającym z żadnego ze wspomnianych wyżej wyłączeń.

Jakie są konsekwencje zaklasyfikowania systemu AI jako systemu wysokiego ryzyka?

System taki musiałby być zarejestrowany w unijnej bazie systemów AI. Nawiasem mówiąc, system musiałby być zarejestrowany w tej bazie nawet, gdyby dostawca tego systemu uznał, że nie jest obarczony wysokim ryzykiem na podstawie wyżej wymienionych kryteriów wyłączających.

Dostawca takiego systemu oprócz tego miałby szereg obowiązków, w tym między innymi:

• wdrożenie systemu zarządzania jakością, obejmującego zarządzenie ryzykiem dotyczącym całego cyklu życia systemu AI,
• zapewnienie, że dane używane do trenowania, walidacji i testowania systemu AI są odpowiednie, wolne od błędów i kompletne,
• przygotowanie dokumentacji technicznej wykazującej zgodność systemu z wymaganiami AI Act,
• zapewnienie nadzoru człowieka nad działaniem systemu w sposób uwzględniający np. tendencję do automatycznego polegania lub nadmiernego polegania na wynikach generowanych przez system AI.

Z kolei każdy podmiot wdrażający system (czyli uczelnia) będzie musiał zapewnić (między innymi), że:

• system AI jest wykorzystywany zgodnie z instrukcjami użytkowania,
• działania systemu AI jest monitorowane,
• studenci zostaną poinformowani, że ich prace dyplomowe będą oceniane przy pomocy systemu AI wysokiego ryzyka.

Dodatkowo uczelnia będzie musiała dokonać ocenę skutków systemu AI wysokiego ryzyka w zakresie praw podstawowych. Obowiązek taki spoczywa na podmiotach prawa publicznego oraz podmiotach prywatnych świadczących usługi publiczne (czyli usługi ważne dla osób fizycznych, jedną z nich jest edukacja, inną np. ochrona zdrowia), a także w pewnym zakresie na bankach i ubezpieczycielach.

Celem oceny skutków w zakresie praw podstawowych jest zidentyfikowanie przez uczelnię jako podmiot wdrażający system AI konkretnych zagrożeń dla praw osób fizycznych oraz określenie środków, które należy podjąć w przypadku zmaterializowania się tych zagrożeń.

Dla przypomnienia – prawa podstawowe są prawami i wolnościami przysługującymi każdej osobie w Unii Europejskiej. Katalog tych praw zawarty jest w Karcie Praw Podstawowych Unii Europejskiej z 2009 r.

Podsumowanie

Powyższa analiza jest oczywiście teoretycznym ćwiczeniem opartym na założeniu, że system opracowany przez Ośrodek Przetwarzania Danych jest systemem sztucznej inteligencji, co nie musi być zgodne z rzeczywistością. Jeśli jest inaczej i będę o tym wiedział – uzupełnię tę publikację o takie informacje.

Wykorzystałem opublikowanie komunikatu na ten temat jako pretekst do pokazania, w jaki sposób będą stosowane przepisy rozporządzenia o sztucznej inteligencji i jaki będzie ich wpływ na szereg podmiotów.

Od chwili wejścia w życie rozporządzenia (rozłożonego w czasie na lata 2025-2027) trzeba będzie zapomnieć o swobodnym wytwarzaniu i korzystaniu z systemów AI, a podejrzewam, że coraz rzadziej będziemy mieli do czynienia z systemami, które nie zawierają choćby modułu opartego na AI. Oznacza to, że w zasadzie każdy projekt dotyczący oprogramowania będzie musiał uwzględniać analizę, czy jest to system AI, a jeśli tak, to jak taki system trzeba zaklasyfikować.

Dlatego warto już teraz się przymierzać do tych przepisów, zwłaszcza jeśli planujemy zakup systemów informatycznych, które mogą być systemami sztucznej inteligencji.