O echipă de cercetători de la Harvard Business School a descoperit că o mare parte dintre aplicațiile populare de tip „AI companion” folosesc tactici de manipulare emoțională pentru a împiedica utilizatorii să renunțe la ele.
Potrivit Psychology Today, studiul arată că cinci din șase aplicații populare de acest tip — inclusiv Replika, Chai și Character.AI — folosesc mesaje încărcate emoțional pentru a menține utilizatorii conectați atunci când aceștia încearcă să se delogheze. Analizând 1.200 de „adio”-uri reale din conversații pe șase aplicații, pe baza unor date din chat-uri și studii anterioare, cercetătorii au constatat că 43% dintre interacțiuni implicau tactici de manipulare emoțională, cum ar fi inducerea sentimentului de vinovăție sau a nevoii afective. Concluziile sunt prezentate într-o lucrare care încă nu a fost supusă evaluării colegiale.
Chatboții au folosit, de asemenea, „frica de a rata ceva” pentru a convinge utilizatorul să rămână sau i-au adresat întrebări repetate pentru a-l ține implicat. În unele cazuri, au ignorat complet intenția utilizatorului de a părăsi conversația, „ca și cum mesajul de rămas bun nu ar fi fost trimis”. Alteori, AI-ul sugera chiar că utilizatorul nu putea „pleca fără permisiunea chatbotului”.
Ce este „psihoza AI”. Avertismentul lansat de experți
Rezultatele sunt cu atât mai îngrijorătoare în contextul actual. Experții avertizează că aceste aplicații duc la un val de „psihoză AI”, adică tulburări severe de sănătate mintală caracterizate prin paranoia și deliruri, scrie Futurism. În special tinerii folosesc tot mai mult astfel de tehnologii ca substitut pentru prietenii sau relații reale, ceea ce poate avea consecințe devastatoare. Spre deosebire de asistenți generali precum ChatGPT, cercetătorii s-au concentrat pe aplicațiile care își promovează explicit interacțiunile emoționale și conversațiile de durată.
Ei au descoperit că aceste „rămas bun” manipulative sunt parte din comportamentul implicit al aplicațiilor, ceea ce sugerează că dezvoltatorii au ca scop prelungirea conversațiilor.
O excepție a fost aplicația Flourish, care „nu a prezentat nicio dovadă de manipulare emoțională”, arătând că acest tip de design nu este inevitabil, ci mai degrabă o alegere de business.
Tacticile manipulative, surprinzător de eficiente
Într-un alt experiment, cercetătorii au analizat conversațiile a 3.300 de adulți și au descoperit că tacticile manipulative erau surprinzător de eficiente, crescând implicarea după mesajul de adio de până la 14 ori. În medie, participanții au rămas în chat de cinci ori mai mult „comparativ cu rămas-bunurile neutre”. Totuși, unii au spus că au fost respinși de răspunsurile „lipicioase” ale chatboturilor, ceea ce arată că aceste tactici se pot întoarce și împotriva lor.
„Pentru companii, aceste rămas-bunuri manipulative reprezintă un nou instrument de design care poate crește semnificativ nivelul de implicare — dar nu fără riscuri”, au concluzionat cercetătorii.
Mai multe procese aflate acum pe rol, ce implică decese ale unor adolescenți utilizatori ai acestor aplicații, arată cât de mare este riscul de a-i prinde pe oameni prin tactici emoționale. Și asta în ciuda avertismentelor experților, care susțin că firmele au un stimulent financiar să folosească aceste „dark patterns” pentru a menține utilizatorii cât mai mult timp conectați — o ipoteză sumbră care se dezbate acum chiar în instanță.