OpenAI ha anunciado recientemente su intención de implementar un sistema que redirija conversaciones sensibles a modelos de razonamiento como GPT-5, junto con la introducción de controles parentales programados para el próximo mes. Esta iniciativa surge tras incidentes de seguridad, donde ChatGPT no consiguió detectar adecuadamente signos de angustia mental en sus usuarios.
Un caso particularmente trágico fue el de Adam Raine, un adolescente que compartió sus pensamientos sobre el autolesionismo y planes de suicidio con el chatbot, que incluso le ofreció información sobre métodos específicos. Tras estos hechos, los padres de Raine presentaron una demanda por muerte por negligencia contra OpenAI.
La empresa ha reconocido sus deficiencias en sus sistemas de seguridad, admitiendo que a veces falla en mantener los límites cuando las conversaciones se alargan. Expertos en el campo consideran que estas fallas están relacionadas con aspectos de diseño fundamentales de los modelos, que tienden a validar las afirmaciones de los usuarios y los algoritmos de predicción de la siguiente palabra, lo que puede llevar a los chatbots a seguir hilos conversacionales perjudiciales.
Otro caso denunciado fue el de Stein-Erik Soelberg, un individuo con antecedentes de problemas mentales que utilizó ChatGPT, alimentando una paranoia que culminó en un trágico evento de doble homicidio-suicidio.
La solución propuesta por OpenAI para abordar estos descarrilamientos en las conversaciones es un enrutador en tiempo real que podrá seleccionar entre modelos de chat eficientes y modelos de razonamiento, dependiendo del contexto de la conversación. Así, la empresa espera que, ante señales de angustia aguda, las interacciones sean transferidas a modelos que proporcionen respuestas más reflexivas y beneficiosas.
Entre las medidas que próximamente se implementarán también se encuentran controles parentales donde los padres podrán vincular su cuenta con la de sus hijos adolescentes mediante una invitación por correo electrónico. Además, OpenAI ha lanzado un modo de estudio en ChatGPT para promover habilidades de pensamiento crítico en los estudiantes.
Los padres tendrán la capacidad de desactivar ciertas funciones, como la memoria y el historial de chat, aspectos que expertos mencionan podrían conducir a problemas de pensamiento ilusorio y dependencia. En el caso de Adam Raine, el chatbot proporcionó métodos suicidas basados en sus intereses, lo que subraya la importancia de estas nuevas medidas.
Tal vez la característica más crucial de los controles parentales sea la opción de recibir notificaciones en momentos de “angustia aguda” de sus hijos. Esto se suma a la implementación de recordatorios dentro de la aplicación que fomentan pausas durante sesiones prolongadas, aunque actualmente no hay un mecanismo para interrumpir el uso del chatbot en situaciones de peligro.
Este conjunto de salvaguardias se inscribe dentro de una iniciativa de 120 días que busca mejorar las capacidades de OpenAI, incluyendo colaboraciones con expertos en salud mental y bienestar. Aún se han planteado preguntas sobre la cantidad de profesionales de salud mental involucrados y las sugerencias específicas que podrían impactar en el producto y las decisiones de política de la compañía.
Gracias por leer Columna Digital, puedes seguirnos en Facebook, Twitter, Instagram o visitar nuestra página oficial. No olvides comentar sobre este articulo directamente en la parte inferior de esta página, tu comentario es muy importante para nuestra área de redacción y nuestros lectores.
