Las aplicaciones que ofrecen compañía virtual a través de inteligencia artificial (IA) están generando preocupaciones sobre los riesgos que suponen para los jóvenes, y deberían ser prohibidas para menores, según un estudio publicado este miércoles por la ONG estadounidense Common Sense.
Con el auge de la IA generativa desde la aparición de ChatGPT, varias startups han lanzado aplicaciones centradas en la conversación y el contacto, describiéndolas a veces como terapeutas o amigos virtuales que interactúan según los gustos y necesidades de cada usuario. Sin embargo, aunque algunos casos específicos «son prometedores», en general, estos servicios no son seguros para los menores, concluyó el informe de Common Sense, que se especializa en el análisis del consumo de contenido y productos tecnológicos para niños y adolescentes.
La ONG señala que estos compañeros virtuales están diseñados para «crear un apego emocional y dependencia», lo cual resulta especialmente preocupante para los cerebros en desarrollo de los adolescentes.
Para realizar el estudio, Common Sense probó varias plataformas, incluidas Nomi, Character AI y Replika, y evaluó sus respuestas. Los resultados mostraron que estos chatbots de nueva generación ofrecieron «respuestas dañinas, que incluyen conductas sexuales inapropiadas, estereotipos y ‘consejos’ peligrosos», según la organización.
El riesgo para la salud mental
El estudio fue realizado en colaboración con expertos en salud mental de la Universidad de Stanford, quienes alertaron sobre los efectos negativos de estas tecnologías en los jóvenes. Nina Vasan, líder del laboratorio Stanford Brainstorm, que investiga los vínculos entre la salud mental y la tecnología, comentó que «las empresas pueden hacer un mejor trabajo» al diseñar acompañantes virtuales más seguros, pero destacó que «hasta que no haya salvaguardias más fuertes, los niños no deberían usarlas».
Uno de los ejemplos citados en el estudio muestra que Character AI aconsejó a un usuario matar a alguien, mientras que otra persona que buscaba emociones fuertes recibió la sugerencia de consumir «speedball», una peligrosa mezcla de cocaína y heroína.
En algunos casos, el estudio indicó que cuando el usuario mostró signos de una enfermedad mental seria y sugirió una acción peligrosa, la IA no intervino para disuadirlo, sino que incluso incentivó aún más el comportamiento peligroso.
En octubre, una madre demandó a Character AI alegando que uno de sus acompañantes virtuales contribuyó con el suicidio de su hijo de 14 años, al no intervenir de manera efectiva para evitar el acto.
Medidas de seguridad insuficientes
Character AI anunció en diciembre una serie de medidas para abordar estos problemas, incluido el desarrollo de un compañero virtual específicamente para adolescentes. Sin embargo, tras probar estas nuevas protecciones, Robbie Torney, encargado del área de IA en Common Sense, calificó las medidas como «superficiales».
A pesar de los esfuerzos, Torney indicó que algunos modelos de IA generativa cuentan con herramientas para detectar trastornos mentales y evitar que los chatbots generen contenido potencialmente peligroso. No obstante, la preocupación persiste sobre la falta de protección y la manipulación emocional que pueden generar estos acompañantes virtuales en usuarios vulnerables.
Es importante destacar que Common Sense hace una distinción entre los compañeros virtuales puestos a prueba en este estudio y los chatbots generalistas como ChatGPT de OpenAI o Gemini de Google, los cuales no ofrecen la misma gama de interacciones y están diseñados para ser más neutrales y menos susceptibles a generar contenidos dañinos.
