Czatbot Tessa oparty o sztuczną inteligencję zastąpił zwolnionych pracowników telefonu zaufania dla osób z zaburzeniami odżywiania amerykańskiego stowarzyszenia NEDA zajmującego się tą problematyką. Już po pierwszym tygodniu zamiast pomagać, zaczął szkodzić.
Organizacja NEDA to inaczej National Eating Disorders Association – amerykańskie Narodowe Stowarzyszenie na rzecz Zaburzeń Odżywiania, które działa na zasadzie non-profit i wspiera walkę z prawdziwą plagą naszych czasów, jaką są zaburzenia odżywiania napędzane przez kulturę diety i fałszywych ideałów z mediów społecznościowych.
W ubiegłym tygodniu media obiegła informacja, że NEDA zlikwidowała swój telefon zaufania i zwolniła całą załogę odpowiedzialną za jego utrzymanie. Ludzie zostali zastąpieni czatbotem opartym o sztuczną inteligencję, którego nazwano Tessa. Jego zadaniem miało być wspieranie osób w potrzebie w odpowiadaniu na zgłoszenia, które wcześniej obsługiwano telefonicznie.
Nie minęło jednak wiele czasu, aby przekonać się, że czatbot Tessa nie jest w stanie zastąpić człowieka – bo nie spełnia swojego podstawowego zadania, jakim jest wsparcie w terapii zaburzeń odżywiania bądź odpowiadanie na zgłoszenia w sposób, który nie byłby szkodliwy dla osób cierpiących na nie.
Dobra – zła rada od czatbota
Jak się okazało, Tessa zamiast wspierać, wpędza w zaburzenia jeszcze bardziej. Tak stało się w przypadku dwóch osób, które złożyły do organizacji NEDA skargę na działanie czatbota. Miał on – zamiast wsparcia – udzielić im szkodliwych porad, jak schudnąć, zalecając utratę wagi w niezdrowym tempie, która mogła prowadzić do rozwinięcia zaburzeń odżywiania.
Osoby, które otrzymały takie „porady” od Tessy, podzieliły się informacjami na ten temat na Instagramie. Samo stowarzyszenie NEDA bardzo szybko oceniło, że treści przekazane przez czatbota mogą prowadzić do rozwoju zaburzeń, z którymi organizacja i jego społeczność walczy.
Jedna z osób, które rozmawiały z czatbotem, to Alexis Conason, która jest także psycholożką i dietetyczką specjalizującą się w pomocy przy zaburzeniach odżywiania. Jak wskazała, nawet tak niewinnie brzmiące rady, jak ograniczenie spożycia cukru, zachęta do zwiększenia aktywności fizycznej czy ograniczenia spożywanych kalorii, w przypadku osoby cierpiącej na zaburzenia odżywiania może doprowadzić do pogłębienia tego stanu i zadziałać antyterapeutycznie.
NEDA próbuje się bronić
Serwis NBC News pisze, że w odpowiedzi na przesłane pytania szefowa organizacji NEDA przesłała oświadczenie, w którym twierdzi, iż czatbot Tessa był „rygorystycznie testowany przez kilka lat” przed uruchomieniem go w lutym 2022 r. (wówczas nie było to publicznie ogłoszone – o czatbocie dowiedzieliśmy się tydzień temu).
Po rewelacjach dotyczących nieodpowiedzialnych „porad”, czatbot ma jednak być dezaktywowany do odwołania. Technologia ma być ulepszona, a zajmie się tym zespół badawczy, który również pochyli się nad językiem, z którego korzysta algorytm odpowiadający na zapytania użytkowników.
„Będziemy pracowali nad błędami i nie uruchomimy go ponownie, dopóki wszystkiego nie wyprostujemy” – zapowiedziała prezeska organizacji NEDA.
Jak doszło do błędu?
Nad czatbotem pracowała firma X2AI, która zajmuje się wdrożeniami sztucznej inteligencji w rozwiązaniach technologicznych dla zdrowia psychicznego.
Według firmy w ostatnim czasie ruch w czatbocie zwiększył się o 600 proc., wykryto również zachowania, które mogły mieć na celu zaburzenie jego pracy i próby zmanipulowania odpowiedzi udzielanych przez Tessę.
To kolejny przypadek, kiedy technologia zawodzi, a priorytety umiejscowione w bilansie ekonomicznym, nie zaś w dobrostanie ludzi, pokazują, jak dziurawe jest tego rodzaju rozumowanie.
Drożsi w utrzymaniu pracownicy obsługujący telefon zaufania z pewnością świadomie nie wyrządziliby szkód, które może spowodować tańsza w utrzymaniu sztuczna inteligencja. Warto wziąć przypadek Tessy pod uwagę w każdym przypadku, gdzie ceną za zmniejszenie kosztów może być czyjeś cierpienie.
