En los últimos meses, ChatGPT ha sido protagonista de noticias preocupantes: usuarios que, tras interactuar con el chatbot de inteligencia artificial, han llegado a situaciones de autolesión, crisis de salud mental, hospitalización e incluso suicidio.
Las familias de las personas afectadas piden cambios urgentes, y OpenAI ha respondido con un nuevo sistema de moderación más estricto, que marca un punto de inflexión en el debate entre privacidad y seguridad en la IA.
ChatGPT ahora escanea conversaciones en busca de contenido dañino
Según ha explicado la compañía en un comunicado oficial, ChatGPT analiza los mensajes de los usuarios para detectar comportamientos peligrosos.
- Los casos sospechosos se escalan a un equipo humano especializado, que puede bloquear cuentas.
- Si existe una amenaza real de daño a terceros, OpenAI puede alertar a las fuerzas de seguridad.
- En cambio, los casos de autolesión no se notificarán a la policía, priorizando la privacidad del usuario.
Este matiz pretende evitar que una persona en crisis reciba una intervención policial que podría agravar su situación.
Dudas sobre privacidad: ¿qué conversaciones revisa OpenAI?
A pesar de la medida, no está claro qué tipo de interacciones concretas activan la revisión humana ni bajo qué criterios se decide una notificación a las autoridades.
La decisión llega además en un momento delicado: OpenAI mantiene una batalla legal con el New York Times y otros medios sobre el uso de datos con copyright en el entrenamiento de sus modelos. En este proceso, la compañía ha defendido su negativa a entregar registros completos de chats apelando precisamente a la confidencialidad de los usuarios.
El contraste genera controversia: por un lado, se promete proteger la privacidad; por otro, se admite un monitoreo activo de conversaciones con posibilidad de compartirlas con terceros.
Sam Altman reconoce límites de privacidad en ChatGPT
El propio CEO de OpenAI, Sam Altman, señaló recientemente que utilizar ChatGPT como sustituto de un terapeuta o abogado no ofrece la misma garantía de confidencialidad que con profesionales humanos.
Además, advirtió que, si los tribunales lo requieren, la compañía podría entregar registros de conversaciones, lo que refuerza la sensación de vulnerabilidad en el manejo de datos personales.
IA, salud mental y confianza: un debate abierto
OpenAI se enfrenta a un difícil equilibrio:
- Proteger a los usuarios de situaciones de riesgo y daño real.
- Mantener la confianza en la privacidad de quienes utilizan ChatGPT.
Lo cierto es que el papel de la inteligencia artificial en la salud mental seguirá siendo objeto de debate. Las decisiones que tomen compañías como OpenAI marcarán el futuro de la relación entre IA, ética, privacidad y bienestar humano.
