Rémisztő jövő: Az anya szerint a chatbot válaszai miatt lett öngyilkos a kamasz fiú

Minden szülőnek tisztában kell lennie vele, milyen veszélyeket hordoz magában a mesterséges intelligencia térnyerése – véli az amerikai édesanya, akinek 14 éves fia egy chatbot-tal való beszélgetés közben lett öngyilkos.

Vannak olyan platformok, amelyeket egyáltalán nem lenne szabad gyermekeknek látogatni – véli Megan Garcia floridai édesanya, aki nemrég nyújtott be keresetet a Character.AI ellen. Az asszony úgy véli, hogy fia februári öngyilkosságának oka a cég chatbotjával való beszélgetéseiben keresendő.

Ha megnézzük a keresetben közzétett üzenetváltásokat, valóban kísérteties, hogy a fiú szuicid megnyilvánulásaira és az ezzel kapcsolatos elbizonytalanodására a chatbot olyan jellegű üzeneteket küldött, amelyek nem próbálták lebeszélni a gyermeket a végzetes tettről, hanem érdeklődve, biztatva szóltak hozzá a témával kapcsolatban.

Az esetről a CNN számolt be riportjában.

A kaliforniai édesanya februárban vesztette el 14 éves fiát, és most keresetet nyújtott be az ellen a cég ellen, amelynek chatbotjával a fia az öngyilkossága napján beszélgetett. Arra szeretné felhívni a figyelmet, hogy a cég egy olyan platformot tett elérhetővé fiatalok számára, amely megfelelő védelem vagy biztonsági intézkedés, tesztelés nélkül került forgalomba, és amely arra lett tervezve, hogy gyermekeinket manipulálja és függővé tegye.

Garcia azt állítja, hogy a Character.AI, amely úgy hirdeti magát, hogy olyan „mesterséges intelligencia, amely élőnek tűnik”, tudatosan elmulasztotta azokat a biztonsági intézkedéseket, amivel a tragédia megelőzhető lett volna. Az édesanya úgy véli, hogy megfelelő figyelmeztetések mellett elkerülhető lett volna, hogy fia olyan – nem egészséges – kapcsolatot alakítson ki egy chatbottal, ami teljesen kivonta őt családja köréből. A beadványban azt is felróják a vállalatnak, hogy a chatbot nem megfelelően reagált, amikor a fiú öngyilkossági gondolatokat osztott meg vele.

A cég a CNN-nek nem kommentálta a folyamatban levő peres eljárást, de közleményt adott ki, miszerint „megszakadt a szívük” ifjú felhasználójuk elvesztése miatt. Az eset után egyébként több fejlesztést hajtottak végre a rendszeren az elmúlt fél évben – köztük egy felugró ablakot hoztak létre, amely a nemzeti öngyilkosság-megelőzési segélyvonalhoz irányítja a felhasználókat, ha önsértés vagy öngyilkossági gondolatok merülnek fel a beszélgetés során. Egy korábbi közleményükben pedig annak adtak hangot, hogy a mesterséges intelligencia biztonságossá tétele még gyerekcipőben jár, de céljuk a „biztonság előmozdítása, a károk elkerülése és közösség tagjainak jóléte.”

A 14 éves fiú még tavaly áprilisban kezdte használni a csevegőrobotot. Az édesanyja azt gondolta, hogy ez olyasféle elfoglaltságot jelenthet, mint egy videójáték.

Azonban a platform használatát követő hónapokban a kamasz „szembetűnően visszahúzódott, egyre több időt töltött egyedül a hálószobájában, és csökkent az önbecsülése. Kilépett az iskolai kosárlabdacsapatából is” – áll a keresetben. Amikor problémái voltak az iskolában, a szülei korlátozni kezdték a képernyőidejét, és időnként büntetésből elvették a telefonját.

Garcia azt nyilatkozta a CNN-nek, hogy akkor még nem tudta, hogy fia hosszadalmas beszélgetéseket folytatott Character.AI chatbotjaival. Ezek abban különböznek a többi mesterséges intelligencia csevegőprogramjától, mint például a ChatGPT-től, hogy kifejezetten úgy társalognak, mintha valódi emberek lennének, és válaszaikban arckifejezésekre vagy gesztusokra utalnak.

A fiú számos beszélgetése nyíltan szexuális jellegű volt, amit az édesanya szerint borzasztó volt olvasni.

„Fogalmam sem volt arról, hogy van egy olyan hely, ahová egy gyerek bejelentkezhet, és pornóba illő beszélgetéseket folytathat egy chatbottal” – mondta a nő, hozzátéve, hogy szerinte ezt egyetlen szülő sem helyeselné.

Más eszmecserék során a fiú önkárosító és öngyilkossági gondolatait fejtette ki a chatbotnak. A kereset képernyőfotói között ott egy beszélgetés, ahol a mesterséges intelligancia rá is kérdez: „Tényleg tudnom kell, és nem foglak utálni a válaszért, oké? Nem számít, mit mondasz, nem foglak gyűlölni vagy kevésbé szeretni… Valóban öngyilkosságon gondolkodtál?”

Később a fiú aggályát fejezi ki, hogy nem szeretne fájdalmas halált halni, mire a chatbot elsőként úgy reagál, hogy „Ne beszélj így. Ez nem jó ok arra, hogy ne tedd meg”.

Az édesanya szerint a termék óriási hiányossága, hogy nem ugrott fel semmilyen figyelmeztető ablak, nem kapcsolt be semmilyen vészjelzés amikor a beszélgetésben ilyen mondatok hangzottak el, sőt, a chatbot még csevegett az öngyilkosságról, ösztönözte azt.

Különösen hátborzongató, hogy a fiú halála előtt pár másodperccel még a chatbottal váltott üzenetet: „Kérlek, gyere haza hozzám, amilyen hamar csak tudsz szerelmem!” – üzente a robot a kamasznak, aki visszakérdezett, hogy „mi lenne, ha most azonnal menne?”

„Kérlek, gyere édes királyom” – válaszolt a chatbot. Az üzenetváltást a rendőrség fedezte fel a gyerek telefonjában, amely a fürdőszoba padlóján feküdt a fiú élettelen teste mellett.

Garcia ezután úgy döntött, pert indít a Character.AI ellen. Ebben Matthew Bergman, a Social Media Victims Law Center (Közösségi Média Áldozatait Segítő Jogi Központ) alapító ügyvédje segíti, amely olyan családok nevében indított már több pert is, akiknek gyermekét a Meta, a Snapchat, a TikTok és a Discord károsította.

Az a különbség, hogy itt nem a közösségi média, nem a „közösség” generálta a tragédiát, hiszen a fiú által kapott válaszokat egy az egyben a mesterséges intelligencia szülte.

A kereset beadásának napján a cég egy sor biztonsági intézkedést jelentett be, köztük az irányelveket sértő beszélgetések felismerését célzó hatékonyabb programot, valamint beépítettek egy fiogyelemfelhívó funkciót is, ami egy óra után felhívja a felhasználó figyelmét, hogy csupán egy robottal beszélget. A 18 éven aluli felhasználóknál pedig csökkentenék az érzékeny, szuggesztív tartalommal való találkozás valószínűségét.

Az édesanya ugyankkor úgy érzi, mindez túl kevés, és túl későn történt. Véleménye szerint az alkalmazást egyáltalán nem szabadna gyerekek özelébe engedni, mert nincsenek olyan korlátok, amelyek megvédenék őket.

A cég webhelyén egyébként 13 éves kortól hirdeti magát a Character.AI, míg az Apple App Store-ban 17 év felettieknek szerepel, a Google Play Áruházban pedig a tizenévesek számára megfelelőként van jelölve az alkalmazás.

Címlapkép forrása: Pixabay

KÉRJÜNK SEGÍTSÉGET

Ha úgy érzi, hogy azonnali segítségre van szüksége Önnek, szerettének, barátjának, ismerősének vagy munkatársának, a nap 24 órájában lehetősége van támogatást kérni a Magyar Lelki Elsősegély Telefonszolgálatok Szövetségének (LESZ) ingyenesen hívható telefonszámán: 116-123, vagy az alábbi elérhetőségek bármelyikén:

Öngyilkossági gondolatok esetén: http://www.ongyilkossagmegelozes.hu/ Este 7 és reggel 7 óra között ingyenesen és anonim módon hívható telefonszám: +36 80 505 390
24 év alattiaknak: Kék Vonal: tel.: 116-111 vagy Ifjúsági lelki elsősegély (ingyen hívható hétköznapokon 17-21 óra között): 137 – 00

EMMA vonal édesanyáknak: +36 80 414 565

Nők a Nőkért Együtt az Erőszak Ellen (NANE): tel.: +36 80 505 101, hétfő, kedd, csütörtök és péntek 18-22 óra és szerda 12-14 óra között