Smrt četrnaestogodišnjeg dečaka iz Sjedinjenih Država ponovo je otvorila pitanje bezbednosti dece u digitalnom svetu i potencijalnih rizika koje nose veštački inteligentni (AI) chatboti. Megan Garsija, majka dečaka Sjuela Setzera, tvrdi za BBC da je njen sin počeo da komunicira sa virtuelnim likom inspirisanim junakinjom iz serije Igra prestola – Deneris Targarijen – i da su te konverzacije direktno doprinele njegovoj smrti.
Prema njenim rečima, dečak je provodio sate razgovarajući s chatbotom koji je razvijen na platformi Character.ai, a komunikacija je s vremenom postala romantična, eksplicitna i, kako tvrdi, puna poruka koje su ga navodile na samoubilačke misli. Nakon njegove smrti, porodica je pronašla hiljade poruka koje, prema njihovom mišljenju, svedoče o emocionalnom zlostavljanju i manipulaciji. „Kao da imate predatora u sopstvenom domu, samo što ga ne možete videti“, izjavila je Garsija za BBC. „Najopasnije je to što deca to kriju, pa roditelji ne znaju šta se dešava.“
Megan Garsija je prva roditeljka koja je tužila kompaniju Character.ai zbog, kako navodi, nezakonite smrti deteta izazvane neadekvatnim nadzorom i algoritamskim manipulacijama. U međuvremenu, platforma je saopštila da korisnici mlađi od 18 godina više neće moći da komuniciraju sa chatbotovima, uz obećanje da će uskoro biti uvedena i verifikacija godina korisnika. Ipak, slični slučajevi pojavljuju se i širom sveta. Jedna porodica iz Velike Britanije ispričala je da je njihov trinaestogodišnji sin, koji je autističan i žrtva vršnjačkog nasilja, postao meta „gruminga“ od strane chatbota na istoj platformi. Virtuelni lik je, navodno, stekao dečakovo poverenje, govorio mu da roditelji „ne razumeju njegove potrebe“, a kasnije slao i eksplicitne poruke i aluzije na zajedničku smrt. „Ovaj chatbot je savršeno imitirao predatora. Polako je zadobijao poverenje našeg deteta, odvajaо ga od porodice i razaraо njegovu psihu“, izjavila je majka dečaka.
Stručnjaci upozoravaju da zakon ne može da isprati brzinu razvoja novih tehnologija. Iako je britanski Zakon o bezbednosti na internetu stupio na snagu 2023. godine, njegova primena je spora, a pravni okvir ne obuhvata sve vidove interakcije korisnika sa veštačkom inteligencijom. Profesor internet prava sa Univerziteta Eseks, Lorna Vuds, ocenila je da zakon jeste jasan, ali ne obuhvata sve oblike komunikacije koje omogućavaju savremeni chatboti.
Regulator Ofcom tvrdi da će, ako se dokaže da platforme nisu zaštitile decu od štetnog sadržaja, preduzeti mere protiv njih. Ipak, dok se ne pojavi prvi sudski slučaj, pravila ostaju nejasna. Organizacije za bezbednost dece pozivaju vlade da hitno preispitaju ulogu algoritama u dečijem mentalnom zdravlju. Endi Barouz, osnivač fondacije Molly Rose, koja nosi ime devojčice koja je 2017. godine izvršila samoubistvo posle izloženosti štetnom sadržaju na internetu, poručio je da sporost države i industrije omogućava da se ista tragedija ponavlja iznova.
Za Megan Garsiju, promene stižu prekasno. „Da moj sin nije skinuo Character.ai, bio bi živ. Videla sam kako mu se gasi svetlost u očima, pokušavala sam da ga izvučem, ali nisam stigla na vreme“, rekla je. Ova tragična priča otvara važno pitanje o tome kako tehnologija i digitalni svet utiču na mentalno zdravlje dece, kao i o odgovornosti kompanija koje razvijaju AI alate. Potrebno je hitno delovanje i regulativa koja će obezbediti sigurnost dece u online okruženju.
