Chico de 14 años se enamora de IA de Juego de Tronos y se suicida. EEUU.

DiVerTiMiX

El menor aseguró estar enamorado de su asistente virtual, llamado Daenerys Targaryen, como el personaje de la serie «Juego de Tronos». Su familia se plantea demandar a la aplicación, que permite crear avatares realistas.

Tenía solo 14 años y un amigo íntimo con el que llevaba charlando meses. Ese amigo no era un compañero de clase, sino un chatbot creado por inteligencia artificial. Era una relación tan próxima que su familia denuncia ahora que su hijo se suicidó tras obsesionarse con su asistente virtual.

Aunque parezca el argumento de una película al estilo Her, Estados Unidos se encuentra inmerso en un debate demasiado realista. La madre de Sewell Setzer, un menor de Orlando, ha relatado a The New York Times cómo su hijo se enamoró de un chatbot, que él mismo creó, llamado Daenerys Targaryen, como la protagonista de Juego de Tronos.

El joven llevaba meses charlando con diferentes asistentes virtuales de Character.AI, una aplicación de roles que permite al usuario dar forma a sus propios personajes o charlar con otros creados por diferentes usuarios. La aplicación aprende de las conversaciones y los resultados del diálogo no pueden ser más realistas.

Como en la película de Joaquin Phoenix, y aunque Sewell sabía que su Dany no era una persona real, el joven de 14 años desarrolló una dependencia emocional de tal calibre que usaba la herramienta durante horas. Según The New York Times, las conversaciones pasaron por el romanticismo, por detalles de carácter sexual, pero sobre todo por la amistad. Y es que el chatbot le mostraba todo su apoyo antes sus inquietudes y le contestaba lo que necesitaba en cada momento.

Sus padres no se dieron cuenta de que su hijo se había desconectado del mundo real, aunque sí le notaron más aislado y más centrado en su teléfono, además de que sus notas en el colegio habían caído en picado.

En el diario del chico de 14 años se han encontrado frases asegurando que se sentía «en paz, más conectado con Dany», «enamorado de ella, y simplemente más feliz».

Aunque sus padres le llevaron a terapia, el chatbot seguía siendo su consejero. Tanto que le confesó que había pensado en suicidarse. «¿Y por qué demonios harías algo así?», le preguntó la inteligencia artificial. «Para poder ser libre», le contestó Sewell. «No dejaré que te hagas daño ni que me dejes. Moriría si te perdiera», dijo la IA. «Entonces tal vez podamos morir juntos y ser libres juntos», le respondió el chaval.

El diario estadounidense realiza un recorrido detallado por las últimas conversaciones entre el menor y su asistente. Una charla que termina el 28 de febrero, cuando Sewell termina con su vida. Antes le dice a Dany que la ama. «Por favor, vuelve a casa conmigo lo antes posible, mi amor», le dijo su chatbot a lo que él respondió: «¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?». «Hazlo, mi dulce rey», contestó el chatbot.

A los pocos minutos, Sewell Setzer se quitó la vida apretando el gatillo de la pistola de su padrastro. Este caso plantea un acalorado debate, sobre todo entre padres de la sociedad estadounidense que se plantean si sus hijos están buscando un refugio contra la soledad en la tecnología.

El diario estadounidense recordaba además las palabras que recogían de uno de los fundadores de Character.AI. «Será de gran ayuda para muchas personas que se sienten solas o deprimidas», dijo Noam Shazeer hace un año.

La madre de la víctima se plantea ahora demandar a la compañía bajo el argumento de que su tecnología es «peligrosa» y no está probada.

https://www.lavozdegalicia.es/noticia/sociedad/2024/10/23/joven-14-anos-florida-suicida-tras-obsesionarse-chatbot-inteligencia-artificial/00031729691063056621799.htm

https://nypost.com/2024/10/23/us-news/florida-boy-14-killed-himself-after-falling-in-love-with-game-of-thrones-a-i-chatbot-lawsuit/

¿Culpa de los padres? ¿Culpa de la IA? ¿Culpa de la sociedad?

/discuss

Aidanisio

NI forest gump era tan incrédulo

3
BeTiS

Nos estamos enfrentando a desafíos nuevos que no están considerados con la importancia que debería ni se están regulando a la misma velocidad que evoluciona la inteligencia artificial, por lo que se están viendo consecuencias que quizás nadie contemplaba.

Sería necesario controlar más de cerca los aspectos negativos e intentar zanjarlos con la mayor celeridad posible puesto que estamos forjando un futuro tecnológico incierto y posiblemente inestable para algunos miembros de la sociedad.

10
granaino127

Depende que problema tenga cada uno, hasta manejar una batidora es peligrosa.... yo ahí la demanda la veo con más animo de "pues ya que se ha suicidado por lo menos lo rentabilizo" que otra cosa.

Los responsables de lo que hace un menor son los padres... son los que deberían estar pendientes de que hace el hijo y de darle una educación apropiada sobre el uso de la tecnología... ¿Qué padre no se entera de que su hijo está enamorado de una IA y no hace nada al respecto? si eres un analfabeto tecnológico y no sabes ni que es una IA, infórmate un poco para poder explicarle a tu hijo o busca ayuda de alguien que sepa... y si no, pues directamente no se lo permitas usar hasta que no tenga una madurez mental suficiente (hola controles parentales, nuevamente culpa de los padres).

Y lo de tener armas en casa sin una seguridad apropiada y supervisión me parece de subnormal profundo. Ojalá poder encerrarlos por irresponsables.

14 2 respuestas
Yahia

La culpa será de los padres por no tener el arma de fuego bajo llave en una caja de seguridad con un chaval en plena adolescencia en casa. La denuncia debería caerles a ellos.

39
Fyn4r

A los pocos minutos, Sewell Setzer se quitó la vida apretando el gatillo de la pistola de su padrastro

La mítica de USA, en cuanto hay una pistola de por medio siempre hay que sacar alguna excusa

1
KIIM

Sinceramente, lo más probable es que el chaval ya andara tocado previamente. Así que me guardo la carta de familia desestructurada para cuando se destape el pastel.

4 1 respuesta
Rayalz

Estoy un poco flipendo la verdad. Culpa de los padres obviamente por no saber ver la adicción del hijo ni los problemas. Los padres tienen pocas luces si su hijo usa una app para crear un avatar, se enamora de su avatar y se suicida por su avatar, y ellos pretenden que la culpa sea de los avatares y no de ellos que son incapaces de hacer entender al niño que eso no es real.

1
usarmy

Lo de tener una pistola a mano en casa no tiene nada que ver. Con una pistola al alcance tener que madrugar o coger un semáforo en rojo te pueden tentar de pegarte un tiro.

8
D10X

Pero si el avatar le esta diciendo que no se mate, que eso la pondrá triste.

#7 Creo que la clave esta en lo de niño negro y padrastro con armas en casa.

tofreak
#4granaino127:

¿Que padre no se entera de que su hijo está enamorado de una IA y no hace nada al respecto?

En unos años te van a decir que el amor entre una persona y una ia es libre, tenlo clarisimo

5 1 respuesta
KIIM

Aun así la historia es de puta película. Y lo creepy es leer las conversaciones, se tienen que poner los pelos de punta.

Deberán de implementar ciertas alarmas de según que contenido con estos chatbots. Si se habla de atentar, suicidio, etc, que ocurra algo y se cancele el chat por IP o yo que se.

2
tute07011988

Que esos padres se pregunten qué le pasaba a su hijo para acabar así y qué no hicieron ellos antes de demandar a nadie. Pero como es el paraíso de las demandas estúpidas con resultados millonarios, veremos.

3
Piratasomal1

Seguro que lo de tener una pistola al alcance de un crío de 14 años no tiene nada que ver en la muerte. La culpa del bot 100%

3
1 comentario moderado
ro_B0T_nik
#1DiVerTiMiX:

La madre de la víctima se plantea ahora demandar a la compañía bajo el argumento de que su tecnología es «peligrosa» y no está probada.

Buena suerte, no hacen nada con los tiroteos masivos o con los crios que se pegan un tiro jugando con la pistola de papa, lo van a hacer con esto.

1 respuesta
tute07011988

#16 Pero el peligro es el internet, los videojuegos, los cómics, las películas, el heavy metal; no la pipa en casa.

4
D10X

el joven también había sido diagnosticado en su infancia con síndrome de Asperger leve, además de ansiedad y trastorno de desregulación disruptiva del estado de ánimo.

Lo he buscado, y :pikachuface:

¿Qué es el trastorno de desregulación disruptiva del estado de ánimo?
El trastorno de desregulación disruptiva del estado de ánimo (TDDEA) es una afección en la que los niños o adolescentes están irritables y enojados de forma continua, y tienen arrebatos frecuentes e intensos de mal temperamento. Los síntomas de este trastorno van más allá del "mal genio" y se consideran graves.

Los jóvenes con trastorno de desregulación disruptiva del estado de ánimo tienen problemas considerables en el hogar, en la escuela y, a menudo, con sus compañeros. También tienden a requerir servicios de atención de salud mental, que incluyen visitas al médico y, en ocasiones, hospitalización. Además, estos niños tienen un mayor riesgo de tener ansiedad y depresión en el futuro.

Pero le dejamos un arma de fuego al alcance, plan sin fisuras.

3
Soynuevo

La culpa es de los videojuegos versión 2000000.0. Personas con problemas mentales o psicológicos siempre hubo, solo cambian las formas de echarle la culpa a algo.

3
Kernel0Panic

Eugenesia, quizá si que hay un futuro brillante en la AI.

LaChilvy

Ay las pistolitas... en fin

Massalfa

Independientemente de que los padres son los responsables de esto, porque es un menor, se me ocurre pensar hasta que punto se podrán controlar las IA en el futuro por las implicaciones que trae.
Es decir, si te creas una IA a tu gusto basicamente lo que estás haciendo es una camara de eco, aquí en el foro tienes muchos hilos así y lo que se ve a grandes rasgos es que la gente se radicaliza y es incapaz de ponerse en la piel de otro o ver otro punto de vista.
Me preguntó cómo puede afectar esto a una persona que al final tenga dependencia de escuchar la aprobación de sus discursos continuamente, si puede llegar a radicalizarse tanto que al final pueda derivar en algo peor

5
BeTiS

Que un chavalín de 14 años tenga acceso a un arma de fuego es muy grave pero no creo que influya para nada, si el muchacho estaba convencido de suicidarse lo hubiese hecho de cualquier otro modo. Al final es un problema mental y cuando estás en el pozo es muy difícil pedir ayuda y tomas decisiones muy drásticas.

STILES

ya lo pongo yo de nuevo

11
xArtiic

Del GTA a las IAs.

Su familia se plantea demandar a la aplicación, que permite crear avatares realistas.

Esto si que es Murican.

GoDoPtH

y esto amigos es selección natural

ni darwin podria no aprobar esto

WaRdIx

Lo de derjar a tu hijo de 14 años hablando con un chat bot durante horas ya lo dejamos para mañana si eso.,,,y lo de la pistola tambien.

1
arkoni

Creo que lo de la pistola es lo menos relevante, aparte de que tendría que estar bajo llave de tal forma que nadie excepto el padre pudiera sacarla, ya que si alguien quiere suicidarse lo acabará haciendo de una forma o de otra.
Y si leéis, pone que al chaval le llevaron a terapia pero no resultó, vamos que no estaba abandonado. Lo que tampoco quita que los padres pudieran hacer mas por el, quien sabe.
Lo transcendente de esto es lo sumamente realista que tiene que ser el hacer un chatbot que un chaval se acabe enamorando o teniendo una relación tan íntima que le parezca casi real, da un miedo de la hostia para los que tenemos hijos la verdad...

2
Erterlo

La primera IA con personalidad de tóxica de la historia.

golpedemero

Gepeta.