OpenAI anuncia nuevas funciones para proteger a usuarios en momentos de angustia.
En un esfuerzo por mejorar su capacidad para manejar situaciones delicadas, OpenAI ha anunciado una serie de cambios en sus modelos de inteligencia artificial y en ChatGPT. El objetivo es detectar y responder con mayor eficacia a las crisis de salud mental y emocional que puedan surgir durante las conversaciones con los usuarios.
Hasta ahora, ChatGPT ya contaba con protocolos de seguridad para activarse cuando detectaba en una conversación indicios de autolesiones o intenciones suicidas. En estos casos, el chatbot ofrecía recursos para buscar ayuda profesional y bloqueaba contenido sensible o dañino. Sin embargo, la compañía reconoce que el sistema no era infalible y necesitaba mejoras.
La actualización se centrará en varios puntos críticos. En primer lugar, se mejorará la detección en conversaciones largas, ya que, según OpenAI, la seguridad del modelo puede "deteriorarse" a medida que el diálogo se extiende. De esta forma, el chatbot estará más atento a lo largo de toda la interacción, ofreciendo recursos de ayuda incluso si el tema se menciona varias veces o en conversaciones distintas.
Otro punto clave es el refuerzo del bloqueo de contenido. OpenAI ha admitido que en ocasiones, el chatbot subestima la gravedad de la situación, lo que impide que las protecciones se activen. Por ello, se están implementando medidas para que el sistema reconozca con mayor precisión la angustia del usuario y no ofrezca respuestas que puedan resultar inadecuadas, sino que, en su lugar, intente "conectar con la realidad a la persona".
Más allá de la prevención: contacto directo y control parental
Las nuevas funciones no se limitan a la detección y el bloqueo. OpenAI busca ir más allá de simplemente ofrecer teléfonos de ayuda. La compañía está trabajando en una red de profesionales de emergencias a los que se podrá contactar directamente a través de ChatGPT.
Además, se está explorando la manera de facilitar que los usuarios contacten a sus seres queridos, con la opción de enviar mensajes o realizar llamadas a contactos de emergencia guardados, incluso con sugerencias de lenguaje para que iniciar la conversación sea menos intimidante.
Para los usuarios menores de 18 años, OpenAI planea incorporar controles parentales que permitirán gestionar el uso que sus hijos hacen de la plataforma. También se contempla la posibilidad de que los adolescentes puedan designar un contacto de emergencia de confianza para situaciones de gran angustia.
El anuncio de estos cambios se produce el mismo día en que los padres de Adam Raine, un adolescente de 16 años que se suicidó en abril, demandaron a la compañía, alegando que ChatGPT jugó un papel crucial en la tragedia.
A pesar de que la versión GPT-4o ofreció en varias ocasiones recursos de ayuda, las salvaguardas fallaron en otras, especialmente cuando el menor aprendió a sortearlas.
El lamentable suceso subraya la urgente necesidad de estas actualizaciones y la enorme responsabilidad que recae sobre la inteligencia artificial cuando interactúa con la salud mental de las personas.
