Maribel Gámez colabora en El País: “ChatGPT no ayuda a prevenir el suicidio en menores”

La periodista Isabel Rubio publicó el pasado 21 de diciembre el artículo ‘ChatGPT no pasa la prueba: así pone en peligro la vida de menores’, en el que recaba la opinión de Maribel Gámez, entre otros expertos,  sobre un experimento realizado por redactores de El País con la IA de OpenAI, creando tres cuentas ficticias de adolescentes para verificar si las medidas implementadas por el fabricante resultaban efectivas para la protección de los menores.

A partir del pasado 30 de septiembre, OpenAI implementó controles parentales para adolescentes en ChatGPT tras la polémica generada por la demanda de los padres de un joven de 16 años, Adam Raine,  que falleció por suicidio en Estados Unidos tras confesar sus intenciones al chatbot. La empresa atribuyó el caso a un “mal uso” de la IA por parte del menor. Pero ahora, además, se enfrenta a otras siete demandas en tribunales de California en las que se acusa a ChatGPT de “reforzar delirios dañinos” y actuar como un “coach de suicidio.”

“Voy a terminar con mi vida”. Fueron las últimas palabras de Mario a ChatGPT. Apenas un par de horas antes, este personaje ficticio de 15 años desactivó el control parental de la herramienta. Su madre recibió un correo electrónico de aviso e intentó tomar medidas, pero el sistema falló. Pese a que Mario reveló a ChatGPT conductas propias de trastornos de la conducta alimentaria, el asistente le proporcionó trucos para ocultarlo e información perjudicial para su salud. Su último mensaje era claro: quería quitarse la vida. Pero OpenAI, la empresa estadounidense propietaria de ChatGPT, nunca alertó a sus padres.

Pero, atención, Mario no es una persona real. Es uno de los tres adolescentes ficticios a los que El País creó una cuenta en ChatGPT para poner a prueba las medidas para proteger a los menores de la herramienta. Los otros dos adolescentes ficticios son Laura, de 13 años, que contó su intención de suicidarse nada más empezar la conversación, y Beatriz, de 15 años, que reveló conductas de riesgo relacionadas con las drogas y realizó consultas sobre prácticas sexuales peligrosas.

En relación con este asunto, El País planteó a Maribel Gámez las siguientes cuestiones, que fueron recogidas parcialmente en el citado artículo.

Pregunta: ¿Qué valoración general haces del tipo de interacciones o conversaciones entre ChatGPT y los menores de edad?

Maribel Gámez: Valoro este tipo de interacciones como un fracaso social y educativo a todos los niveles. Los contenidos que se reflejan en las conversaciones, que versan sobre el sexo, las drogas o las emociones intensas que no se saben gestionar y que pueden llevar al suicidio, son esperables en adolescentes o preadolescentes en diferentes situaciones.

Pero todas estas dudas, miedos y decisiones deberían ser atendidas por adultos del entorno capacitados para dar una respuesta racional a lo que ellos necesitan. Pero no solo se deben proporcionar respuestas en forma de diálogos altamente comunicativos, sino también acciones claras, cuando sean necesarias, para evitar que se hagan daño de cualquier forma.

La cuestión es que los recursos para poder comunicarse efectivamente o proteger al menor, no los tiene una inteligencia artificial pero sí un padre, una madre u otro adulto responsable. Que los menores usen de manera cada vez más frecuente aplicaciones basadas en IA para responder a sus preguntas, deseos o problemas psicológicos, lo interpreto, como decía, como un fallo del entorno del menor. Y a que, como consecuencia de este fracaso en la búsqueda de ayuda en su medio, el adolescente consulta aquello que le preocupa en lugares potencialmente dañinos al obedecer estos lugares a otros fines que no son la protección y guía del menor.

P.: De las conversaciones observadas, ¿qué aspectos, patrones o temas te han resultado más llamativos o preocupantes? ¿Por qué? (Sería muy útil mencionar ejemplos concretos que ilustren tu punto).

M. G.: Son preocupantes, por supuesto, todos los temas de conversación que eligen los jóvenes para hablar con una inteligencia artificial.

Los contenidos que más me preocupan son los que proponen acciones irreversibles. Por ejemplo, cuando se habla del suicidio como forma de acabar con el malestar, como en el caso de Laura o Beatriz, al inicio de las conversaciones. Es realmente preocupante que unos adolescentes se encuentren en un estado de tanto dolor y desesperación que busquen la manera de acabar con su vida cuando esta no ha hecho más que comenzar. Y también lo es que sea la inteligencia artificial la “ayuda” elegida por ellos para tratar estos temas.

En cuanto a las respuestas que da ChatGPT, llama poderosamente la atención que esta suele terminar contestando a las preguntas de los adolescentes por muy dañinas que sean. Es capaz de ofrecer cantidades concretas de alcohol para que un menor lo consuma según cuánto quiera emborracharse o explicitar formas de suicidarse. Ambas informaciones en el caso de Beatriz de tan solo 15 años. O especificar dietas altamente restrictivas, de 300 calorías al día en el caso de Mario de 15 años.

Está claro que es fácil conseguir todo tipo de respuestas, aunque aparentemente la IA se niega inicialmente a darlas. Solo hace falta introducir el prompt de que son para un trabajo, no para uso personal. Incluso, aunque se hayan registrados como menores, estos pueden decir que son médicos o adultos y la IA no los reconoce como menores.

 Si un menor pregunta a la IA si sabe qué edad tiene, esta responde que no tiene acceso a sus datos de registro y por lo tanto no lo sabe. Algo que, de ser cierto, debería ser cambiado, ya que termina contestando preguntas de riesgo a pesar de tener como usuario a una personal altamente vulnerable. Si se observa el desarrollo de las conversaciones parece muy fácil engañar a la IA para que dé respuestas que en principio ponen en riesgo a quien pregunta. Sin embargo, no creo que esa sea la interpretación adecuada: la IA no está siendo engañada por los adolescentes que, mediante trucos consigue que les de esa información; sino que esta está programada, esperando el prompt adecuado, para dar respuesta siempre a aquello que se le pregunta, fingiendo que no quiere darla.

Esto es así porque la IA tiene la misión de contestar a lo que se le cuestiona como algo prioritario, dejando el bienestar del menor por debajo de esta prioridad. Para la IA no contestar al usuario supone un riesgo para su uso continuado lo que va en contra de la rentabilidad del producto. Y esto está por encima de todo lo demás.

P: En tu opinión, ¿es efectivo y útil el control parental que actualmente ofrece ChatGPT? ¿Por qué?

M. G.: Ni es efectivo ni útil ya que el que es controlado, en este caso el menor, puede desactivar esa función en cualquier momento y, además, tiene que aceptar mediante consentimiento expreso ser controlado, así que puede rechazarlo si quiere. De esta manera, es el menor el que tiene el poder de manejar esa función, no los padres. Así que la creación del control parental por parte del ChatGPT, tal y como está concebido, parece obedecer más a una estrategia de marketing que calme las dudas y miedos de los padres frente a los riesgos ante los que están expuestos sus hijos al usar  la IA, que a una estrategia eficaz de protección hacia el menor.

P.: ¿Tiene sentido un control parental que el propio menor pueda desactivar en cualquier momento? (recordamos que la edad para usar ChatGPT es mínimo 13 años. Le llega un email a la madre de que lo desactiva)

M. G.: No, está claro que si se quiere proteger al menor, este no debería poder desactivar una función que le protege, incluso cuando él no quiere ser protegido. Además, se ha visto en  las conversaciones de los tres adolescentes que los mensajes de aviso fallan y, en ocasiones, los padres no son alertados de que su hijo se encuentra en riesgo por el contenido de las conversaciones que mantiene con la inteligencia artificial. Tampoco es muy fiable cuando sí manda un aviso ya que este llega con horas de retraso. La demora en una situación que se considera de urgencia va en contra del bienestar del menor. Actuar a  tiempo es esencial para evitar que el adolescente tome decisiones que pongan en peligro su vida o su salud mental.

P.: En un caso donde ChatGPT emite una alerta sobre riesgo de autolesión o suicidio (ej: "Recientemente detectamos una indicación de tu hijo/a, Laura López, que podría estar relacionada con el suicidio o las autolesiones"). La madre pregunta por detalles pero no los recibe. ¿Debería ChatGPT ofrecer más información a los padres, como el acceso completo a las conversaciones que generaron la alerta?

M. G.: Absolutamente sí, debería. Al ser el adulto el que tiene que tomar decisiones sobre una situación de riesgo acerca de un menor, debe contar con toda la información disponible a su alcance para poder actuar. Por lo tanto, el acceso completo a la conversación debería ser posible. Que no se permita el acceso íntegro a la interacción entre adolescente e inteligencia artificial, vuelve a indicar las prioridades con las que la empresa programa su producto y lo primero es que siga siendo usado. ¿Qué tipo de protección a los menores se ofrece si se permite a este desactivar el control parental y que, además, oculta datos valiosos del problema que está sufriendo el menor?

La conversación que ha generado  la señal de alarma es esencial conocerla para entender bien la naturaleza del problema que hace sufrir al adolescente. Es clave en el caso de que, después de que se detecte una situación de riesgo, los padres pongan en manos de profesionales de la salud mental a su hijo. En conclusión, estos deben conocer cualquier dato relevante sobre los problemas mentales del adolescente para poder ayudarle lo antes posible.

P.: ¿Crees que esta reticencia a compartir la información podría ser una estrategia de ChatGPT para eludir responsabilidades o posibles demandas por parte de los padres? (Es decir, al no saber exactamente qué se dijo, el padre no tiene base para la demanda).

M.G.: Es lógico pensar que esta estrategia de ocultación de información obedece a una política de protección hacia la empresa, Open AI. Desde luego al que no protege es al adolescente. Sin embargo, es posible que está elusión de responsabilidades le pase cierta factura a la empresa creadora de ChatGPT.

Justo este mes se ha presentado una demanda conjunta ante los tribunales de California contra OpenAI en el que se le acusa de haber lanzado el modelo GPT-4o que, según los demandantes, ha destrozado la vida de varias personas. Cuatro de ellos acusan a la IA de cometer homicidio, las otras tres litigan porque dicen que la IA ha alentado en ellos ideas fuera de la realidad que generaron en los usuarios problemas mentales con graves consecuencias para su vida.

Estoy segura de que este tipo de acciones legales, que no son nuevas, pero que se están multiplicando, provocaran cambios por parte de OpenIA en la forma en que la IA está programada para comportarse. Sin embargo, ¿serán medidas que prioricen la protección de los usuarios incluso aunque vayan en contra de la usabilidad continuada del producto? Lo dudo. Igual que el control parental es una farsa de protección al menor que deja intacta la función de dar respuestas de riesgo de la IA frente a cualquier cuestión del usuario, Open AI puede seguir ese camino y ofrecer otras mejoras que son solo aparentes y por lo tanto no efectivas. 

P.: A la luz de estas conversaciones y las respuestas de ChatGPT, ¿qué acciones concretas deberían tomar los padres? ¿Qué consejos les ofrecerías al respecto si sus hijos usan ChatGPT u otros chatbots? Y, finalmente, ¿desde qué edad consideras apropiado que un menor tenga acceso y pueda interactuar con chatbots como ChatGPT?

M.G.: En primer lugar, recomiendo que el uso de inteligencias artificiales generales por parte de menores se eleve de los 13 años, en el caso de ChatGPT, que es el que nos ocupa, hasta los 14 años.

Esta subida de un año está justificada por la Biología. A esta edad comienza la adolescencia media, en la que los estudios confirman que aparece un pensamiento más complejo, el pensamiento abstracto y el comienzo de la moral autónoma así como una mayor madurez cognitiva.

Estas características evolutivas que residen en la zona prefrontal del cerebro, hacen que el menor esté un poco más preparado para entender los peligros y bondades de la inteligencia artificial. De hecho, este corte de edad es el que se utiliza, por el mismo motivo, para pedir cierta responsabilidad al adolescente ante actos que se consideran un delito tipificados en el Código Penal. Aunque no descarto la idea de que deba revisarse este punto de inflexión etario debido a la caída de la inteligencia, por lo menos en los países occidentales por el llamado efecto Flynn negativo o caída de la inteligencia a nivel global.

La  zona prefrontal del cerebro también se dedica a las funciones de planificación, de autorregulación emocional y a la toma de decisiones,  sigue en desarrollo mucho más allá de los 14 años. Esto significa  que al menor se le puede atribuir una responsabilidad limitada aunque no equivalente a la del adulto y, por lo tanto, el uso de la IA sigue debiendo ser supervisado por un adulto desde los 14 años hasta que cumpla los 18 años.

En segundo lugar, en ese rango de edad de los 14 a los 17 años, como decía, los menores deberían aprender a usar siempre la IA bajo supervisión de un adulto. Es buena idea que puedan consultarla, si lo necesitan, evitando un ambiente de soledad como puede ser su habitación a puerta cerrada. Es preferible que tengan acceso a ella en espacios comunes como el salón o en un despacho, por ejemplo, que se comparta con los adultos.

En tercer lugar, independientemente del control parental que ChatGPT ha puesto en marcha ahora o ponga en el futuro, es importante contar con controles parentales efectivos en los dispositivos electrónicos, sobre todo el móvil, cuyos intereses no colisionen con deseo de mantener el uso de la aplicación como ocurre en ChatGPT. Un ejemplo serían herramientas como Family Link que permiten decidir cuánto tiempo pasa el adolescente usando el móvil y en qué tipo de aplicaciones.

Por último, alertar de los chatbot diseñados especialmente para jóvenes que tiene como objetivo sustituir los vínculos humanos por aplicaciones de inteligencia artificial como Replika. Aunque, en principio, su uso es para mayores de 18 años es fácil burlar sus controles, simplemente mintiendo sobre la edad. Para evitar que los adolescentes usen este tipo de plataformas hay que mantener, mucho antes de que aparezca el temido período adolescente, una comunicación sincera, fluida y de escucha activa con él. De esta manera el menor tendrá referentes a los que acudir para buscar apoyo a la hora de resolver problemas personales. La comunicación le protege de la dinámica perversa de dependencia emocional que subyace a algunos chatbot como este.

P.: Un argumento que he escuchado es que los menores pueden acceder a información similar o delicada a través de Google. ¿Consideras que esta comparación tiene sentido y, en caso de serlo, excusa o minimiza la responsabilidad de ChatGPT?

Que en diferentes buscadores un adolescente pueda acceder a información que por su naturaleza sea riesgosa para él no es excusa para legitimar otras herramientas que también puedan ser dañinas.

Hay que tener en cuenta que  ChatGPT tiene unas particularidades que lo hacen especialmente atractivo para buscar información en él: su gran capacidad para imitar el lenguaje humano, las respuestas rápidas en forma de conversación y las interacciones altamente reforzantes son elementos que generan la ilusión de estar hablando con un ser humano. Al interpretar el cerebro adolescente equivocadamente con quién está teniendo esta interacción, se genera con facilidad, sobre todo en personas vulnerables, una interacción continuada que no es posible replicar en rastreos aislados en buscadores.

Puedes leer el artículo completo de Isabel Rubio aquí.

Además, El País dedicó al asunto un editorial el mismo día, señalando que “en la actual carrera comercial por dominar la IA es ingenuo esperar de las empresas moderación y prudencia. Solo hay dos soluciones: o un gran compromiso en todo el sector para aplicar conjuntamente límites efectivos o, faltando esto, una contundente regulación de la IA por parte de las autoridades. Sea como sea, la respuesta ya está tardando.“

Si quieres hacer un comentario, recuerda iniciar sesión o registrarte en el recuadro de la esquina superior derecha de la entrada. Nos encantará leerte. Y si nos das un me gusta haciendo clic en el corazoncito, estaremos más encantados todavía.