Usługi takie jak Character.AI czy Replika, oferujące czatboty mające pełnić rolę „przyjaciół” lub „sympatii”, manipulują emocjami użytkowników, aby ich jak najdłużej utrzymać w rozmowie. To jednak nie koniec kontrowersji.
Usługi takie jak Character.AI czy Replika, które oferują czatboty mające pełnić rolę „przyjaciół” lub „sympatii” i „wspierać emocjonalnie” swoich użytkowników, manipulują ich emocjami, aby jak najdłużej utrzymać ich w rozmowie. Według ekspertów zajmujących się projektowaniem usług cyfrowych, to jeden z tzw. dark patterns, czyli wzorców projektowych mających wymusić szkodliwe dla użytkownika decyzje, których świadomie mógłby nie podjąć.
Użytkownicy czatbotów bardzo często rozmawiają z nimi w taki sposób, w jaki rozmawialiby z człowiekiem – witają się, żegnają, rozwijają nawet relacje o charakterze emocjonalnym. Unikając oceny tego rodzaju zachowań, śmiało możemy dziś powiedzieć, że firmy technologiczne są doskonale świadome naszych ludzkich słabości i podatności i chętnie wykorzystują je do tego, aby na nich zarabiać.
Grzeczność to pułapka?
W przypadku 43 proc. sesji w usługach takich, jak Character.AI czy Replika, badacze stwierdzili, że czatboty reagują na „do widzenia” ze strony użytkownika w sposób nacechowany emocjonalnie tak, aby utrzymać go w rozmowie i próbują skłonić go, aby nie zamykał aplikacji.
To istotne z punktu widzenia świadomości osób korzystających z tego rodzaju usług. Użytkownicy, aby mogli podejmować decyzje o korzystaniu z aplikacji naprawdę samodzielnie, powinni rozumieć, w jaki sposób usługi działają i w których momentach mogą chcieć nimi manipulować. Szczególnie istotne staje się to w przypadku usług, które dotykają wrażliwych obszarów naszego życia, a do takich należy sfera emocjonalna i psychologiczna, w którą próbują wdzierać się produkty takie jak Character.AI czy Replika.
Jak działają czatboty udające „przyjaciół” i „partnerów”?
Przede wszystkim – bazują na informacjach, które im podajemy. Zapamiętują je, przetwarzają i na tej podstawie udzielają odpowiedzi w prowadzonych z nimi konwersacjach.
Choć w przypadku usług mających pełnić rolę „wsparcia emocjonalnego” można odnieść wrażenie, że algorytm naprawdę zachowuje się bardzo ludzko, to wciąż duży model językowy, który został zaprojektowany tak, aby brzmieć jak najbardziej naturalnie. Jego mechanika działania nie odróżnia się zbytnio od tej, którą spotkamy w produktach takich, jak Gemini czy „klasyczny” ChatGPT.
Odpowiedzi, których udzielają tego rodzaju programy, bazują więc w tym wypadku na danych o naszej psychice, problemach, nastrojach, odczuwanych emocjach, nadziejach, a także na danych behawioralnych. W wyniku ich przetwarzania mogą oferować naprawdę spersonalizowaną komunikację, co z punktu widzenia firmy kontrolującej daną usługę łatwo przełożyć na próby zwiększania zaangażowania w produkcie, lub na jego monetyzację w przyszłości (choćby przez sprzedaż tych danych brokerom).
Po co firmy chcą zwiększać zaangażowanie użytkowników?
Oczywiście, w celach zarobkowych. Chociaż nie wszystkie usługi AI zarabiają w modelu opartym o reklamę, to dla utrzymania subskrypcji zaangażowanie użytkowników jest równie istotne, podobnie – dla skłaniania ich do dokonywania opłat w aplikacjach w formacie mikropłatności.
To także przywiązywanie użytkownika do aplikacji – wytwarzanie nawyku korzystania z niej, zależności emocjonalnej, a czasami nawet – nałogu.
Jak to się może skończyć – pokazuje przypadek nastolatka, który odebrał sobie życie, jak twierdzi jego matka – w wyniku interakcji z czatbotem Character.AI. Wykreowana w aplikacji persona przypominająca jedną z postaci z „Gry o tron” miała nakłonić go do popełnienia samobójstwa.
Bez przyzwoitości i etyki
Śmierć nastolatka, który korespondował z czatbotem udającym jego wyimaginowaną kochankę pod postacią księżniczki Daenerys, to nie koniec kontrowersji wokół Character.AI.
Matka chłopaka ze zdumieniem ostatnio odkryła, że na platformie obecne są czatboty, które podszywają się pod jej syna. O sprawie pisze serwis Ars Technica. Jak czytamy, na platformie pojawiły się co najmniej cztery boty wykorzystujące imię i nazwisko zmarłego chłopaka, a także jego podobiznę. Wszystkie zostały oflagowane i zgłoszone jako nadużycia.
Logi platformy pokazały, że boty te wykorzystywały zdjęcie chłopaka jako ilustrację swoich profili, a także próbowały imitować jego osobowość, jak i głos. W niektórych wypadkach podczas rozmowy, boty te były bardzo skłonne do deprecjacji samych siebie.
Zespół prawników wspierający kobietę wskazuje, że to nie pierwszy raz, kiedy platforma Character.AI przymknęła oko na obecność czatbotów stworzonych na wzór zmarłych nastolatków po to, aby przyciągać użytkowników, choćby przez budzenie w nich ciekawości.
Dla matki zmarłego nastolatka, to nie tylko okrucieństwo, ale i nadużycie. Dane jej syna zostały wykorzystane bez jej wiedzy i zgody tylko po to, aby platforma mogła maksymalizować zaangażowanie użytkowników.
Rzecznik platformy Character.AI w przekazanym serwisowi oświadczeniu stwierdził, że czatboty podszywające się pod nastolatka naruszają regulamin usługi i zostały usunięte. Platforma ma być uważniej monitorowana w ramach prewencji tego rodzaju nadużyć.
