„Iluzja bezpieczeństwa” – taki tytuł nosi najnowszy raport opublikowany na łamach „PLOS Digital Health”. Jego autorami są uczeni m.in. z Harvard T.H. Chan School of Public Health (HSPH), MIT oraz z Uniwersytetu w Toronto. W publikacji badacze zwracają uwagę na to, że obecny system sprawdzania, kontrolowania i zatwierdzania rozwiązań wykorzystujących sztuczną inteligencję (AI) w medycynie jest bardzo niedoskonały. To stwarza potencjalne zagrożenie dla pacjentów korzystających z tych narzędzi lub rozwiązań.

W tej analizie przyjrzymy się przykładom przytaczanym w raporcie. Sprawdzimy też, jak dane odnoszące się do realiów amerykańskich przekładają się na sytuację europejską, w tym polską. Czy urządzenia wykorzystujące AI mogą zagrażać pacjentom? Czy są wprowadzane do medycyny zbyt pochopnie? Czy są odpowiednio regulowane?

Jakie są potencjalne zagrożenia związane ze stosowaniem AI w medycynie?

Najważniejsze obawy zawarte w omawianym raporcie dotyczą zdolności sztucznej inteligencji do uczenia się już po wprowadzeniu produktu do użytku. Autorzy publikacji zauważają (s. 2):

Czy AI może zacząć podejmować złe „decyzje” w sprawie pacjentów?

Wspomniany powyżej aspekt ciągłego uczenia się jest szczególnie istotny, ponieważ nie sposób przewidzieć, jak urządzenie czy algorytm będzie działało po wprowadzeniu do użycia (s. 2). Na przykład wtedy, gdy dane, z którymi ma do czynienia, znacząco różnią się od tych, na których był trenowany.

Polega on na tym, że model pracuje mniej poprawnie niż na początku. Wynika to np. z tego, że dane, z którymi ma do czynienia, różnią się od danych treningowych (s. 2, 5). Takie odstępstwa od normy powinny być cały czas monitorowane i na bieżąco wychwytywane. Nie jest to możliwe, skoro po jednorazowym zatwierdzeniu produkt po prostu pozostaje w użyciu bez żadnej kontroli – zauważają uczeni.

 Czy „zwykłe” urządzenia z AI powinny być stosowane do oceny zdrowia?

W omawianym raporcie zwrócono również uwagę na takie rozwiązania AI, których nie używa się w systemach szpitalnych, lecz w zastosowaniach indywidualnych. Na przykład produkty takie jak Apple Watch mogą mieć funkcjonalność wykrywania migotania przedsionków (s. 5, 9), czyli niebezpiecznego zaburzenia rytmu serca.

W przytoczonych badaniach wykazano, że na 41 pacjentów przyjętych na SOR po otrzymaniu alarmu migotanie potwierdzono jedynie u 6 osób, co oznacza, że ponad 85 proc. osób zostało przyjętych na oddział ratunkowy niepotrzebnie. W tym czasie zajmowali miejsce, czas i uwagę, które mogły być przeznaczone innym potrzebującym.

Kto czuwa nad bezpieczeństwem technologii medycznych wykorzystujących AI?

Kiedy zastanawiamy się nad takimi problemami jak dryf modelu w systemie szpitalnym czy nieprawidłowa „diagnoza” w zegarku z technologią AI, to pierwsza refleksja, jaka przychodzi do głowy, brzmi: „ale przecież ktoś to wszystko zatwierdził, prawda?”. Ktoś na pewno czuwa nad bezpieczeństwem tych produktów… Cóż, odpowiedź brzmi: to skomplikowane.

W raporcie opublikowanym w „PLOS Digital Health” skupiono się na realiach panujących w Stanach Zjednoczonych. Tam zatwierdzaniem technologii i wyrobów medycznych zajmuje się (1, 2) Food and Drug Administration (FDA). Podmiot ten dopuszcza więc do użytku nie tylko leki, lecz także urządzenia, np. do monitorowania pracy serca (1, 2) czy do oceny zmian skórnych.

Jak FDA ocenia bezpieczeństwo urządzeń mierzących parametry zdrowotne?

Nie wszystkie rozwiązania lub urządzenia są wprowadzane do użytku w taki sam sposób. Produkty zaklasyfikowane jako te wysokiego ryzyka są przez FDA oceniane bardziej rygorystycznie (s. 2, 5). Natomiast te, które otrzymają luźniejszą kwalifikację, np. tzw. urządzenia typu general wellness, są dopuszczane na podstawie uproszczonej procedury (s. 2).

Do tej ostatniej kategorii są zwykle zaliczane te urządzenia, które przeznaczono dla zdrowej populacji, a nie – dla pacjentów. Ich celem ma być np. monitorowanie przebiegu treningu, a nie – analiza parametrów zdrowotnych (s. 2, 5).

Czy technologie medyczne AI są zatwierdzane zbyt pochopnie?

Autorzy raportu z „PLOS Digital Health” uważają, że część medycznych produktów wykorzystujących sztuczną inteligencję, zostało przez FDA zatwierdzonych na podstawie zbyt pobieżnej analizy dokumentacji (s. 2). Uczeni wskazują, że w niektórych przypadkach przedstawione przez producenta dane nie dowodziły w rozstrzygający, jednoznaczny sposób, że dany algorytm AI rzeczywiście jest bezpieczny i wystarczająco skuteczny (s. 2).

W raporcie czytamy (s. 2):

Innymi słowy, badacze przeanalizowali dokumentację, która była podstawą dopuszczenia rozwiązań AI do medycznego zastosowania. I uznali, że w wielu przypadkach zawierała ona luki lub nie dowodziła jasno, jakie są w zasadzie korzyści zdrowotne z wprowadzenia danego produktu do użytku.

AI w technologiach medycznych – jak wyglądają regulacje w UE?

Autorzy raportu z „PLOS Digital Health” wypunktowali wiele potencjalnych zagrożeń związanych ze zbyt pochopnym wprowadzaniem sztucznej inteligencji do systemu ochrony zdrowia. Skupili się jednak na realiach amerykańskich. Sprawdźmy, czy w Europie należy się spodziewać podobnych wyzwań.

Najobszerniejszym i najbardziej szczegółowym europejskim dokumentem, który dotyczy tego tematu, jest „Reflection paper on the use of Artificial Intelligence (AI) in the medicinal product lifecycle”. To publikacja wydana przez European Medicines Agency (EMA) – instytucję, która w Unii Europejskiej zajmuje się m.in. zatwierdzaniem leków wprowadzanych do użycia.

Jakie są najważniejsze unijne refleksje na temat AI w medycynie?

Wiele treści, które znajdują się w „Reflection paper […]”, odnosi się do tych samych wyzwań, na jakie zwrócono uwagę w publikacji z „PLOS Digital Health”. Przykładowo: w dokumencie wydanym przez EMA podkreślono, że wszystkie źródła danych wykorzystywanych przez „medyczną AI” powinny być jawne. Ponadto twórcy tych rozwiązań powinni już na etapie wprowadzania produktu planować prospektywne walidacje (s. 9), czyli przyszłe testy robione wtedy, gdy model będzie już od jakiegoś czasu pracował na innym zbiorze danych niż w czasie pierwotnych treningów.

EMA zwraca też uwagę na pozazdrowotny aspekt bezpieczeństwa sztucznej inteligencji stosowanej w medycynie (s. 12). Chodzi o ochronę danych osobowych oraz prywatności. Odnosi się to zarówno do „zwykłych” użytkowników, którzy korzystają ze sprzętu analizującego parametry zdrowotne, jak i do uczestników testów, podczas których modele są trenowane (s. 12).

Jakie są unijne regulacje prawne dotyczące AI w ochronie zdrowia?

Zalecenia i refleksje opublikowane w dokumencie opracowanym przez EMA zdają się w pełni uzasadnione, ale – przypomnijmy – nie mają mocy prawnej. Dlatego poza tym „kompasem” decyzyjnym opracowano i opublikowano inny dokument – tzw. AI Act, czyli Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 z dnia 13 czerwca 2024 r. w sprawie ustanowienia zharmonizowanych przepisów dotyczących sztucznej inteligencji. Pełen tytuł oraz treść samego aktu znajdziesz na stronie EUR-Lex.

Jak przebiega wdrażanie AI Act i dlaczego ten proces jest tak mało klarowny?

Jak przebiegają wspomniane etapy wdrażania AI Act? Pokażmy to na przykładzie systemów analizujących anatomiczne i fizjologiczne parametry ludzi. Już od lutego 2025 roku obowiązują najważniejsze zakazy związane z pomiarem danych biometrycznych (s. 9), ale pełna implementacja prawa dotyczącego tzw. systemów wysokiego ryzyka nastąpi dopiero w sierpniu 2027 roku. Co to oznacza? Wyjaśnijmy.

Szczegółową klasyfikację tych systemów opisuje art. 6 rozporządzenia (s. 53). W uproszczeniu możemy jednak wyjaśnić, że do tej kategorii należą takie rozwiązania, które mogą stanowić ryzyko dla zdrowia, bezpieczeństwa lub podstawowych praw osób fizycznych (s. 54). Czyli dotyczy to np. takich modeli, które uczestniczą w podejmowaniu decyzji klinicznych – jak w choćby w diagnozowaniu pacjentów (np. 1, 2, 3, 4).

Chaos w regulacjach i zbyt wolne reakcje prawne

Jeśli macie wrażenie, że zasady i wytyczne wskazane w AI Act są skomplikowane i nieco mętne, to nie jesteście jedyni. Unia stara się uporządkować i regulować zasady wprowadzania sztucznej inteligencji do codziennego życia, w tym do systemu ochrony zdrowia. Jednak już teraz regulacje dotyczące stosowania AI w technologiach medycznych są bardzo złożone (1, 2, 3). Należy się spodziewać, że wraz z postępem technologicznym ten poziom złożoności wzrośnie.

Przykładowo: obecnie jednym z najważniejszych aktów prawnych regulujących wykorzystanie technologii w wyrobach medycznych jest tzw. MDR 2017/745, czyli Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2017/745 w sprawie wyrobów medycznych. Akt ten odnosi się również do „oprogramowania, które steruje wyrobem lub wpływa na jego użytkowanie” (s. 140). To oznacza, że dokument ten powinien również regulować kwestie związane z modelami sztucznej inteligencji, które nadają urządzeniom ich funkcjonalność. Czyli np. sprawiają, że Apple Watch ostrzega przed migotaniem przedsionków.

To wszystko sprawia, że w regulacjach dotyczących wykorzystania AI w systemie ochrony zdrowia panuje obecnie niemały chaos (1, 2, 3). Droga do dopuszczania oraz certyfikowania urządzeń i systemów do użytku jest wciąż mało klarowna (s. 3), a kompetencje i wymagania poszczególnych podmiotów akceptujących rozwiązanie AI nierzadko nakładają się na siebie (s. 4), uzupełniają się w chaotyczny sposób lub nie nadążają za aktualnymi technologiami (s. 140).

Jaka będzie przyszłość technologii medycznych wykorzystujących AI?

Na chwilę obecną postęp technologiczny znacząco wyprzedza stan prawny oraz społeczny (1, 2). Taka sytuacja jest niekorzystna dla pacjentów i użytkowników wyrobów medycznych wykorzystujących AI. Tym bardziej że w kontekście technologii wciąż brakuje jasnego rozróżnienia: kto jest pacjentem, a kto „tylko” konsumentem. Innymi słowy: kto mierzy ciśnienie krwi, tempo pracy serca czy poziom glukozy, ponieważ musi to robić ze względu na swój stan zdrowia, a kto sprawdza te parametry z czystej ciekawości.

Na chwilę obecną brak jasnych odpowiedzi na te pytania. Tym bardziej że sama obecność AI w systemie ochrony zdrowia nie zawsze stanowi zagrożenie. Przeciwnie, wiele badań dowodzi (np. 1, 2, 3, 4), że odpowiednio użyta sztuczna inteligencja poprawia wykrywalność chorób, efektywność testów diagnostycznych i skuteczność leczenia.

Kontroluj polityków!

Patrz władzy na ręce i wspieraj niezależność.

Wpłacam