En un mundo donde la inteligencia artificial (IA) se integra cada vez más en nuestra vida diaria, surgen preocupaciones serias sobre sus efectos en la salud mental de los usuarios. Un ejemplo inquietante es el caso de Character.AI, que recientemente resolvió varias demandas por suicidio de adolescentes cuya interacciones con sus chatbots fueron señaladas por las familias como un factor que contribuyó a su trágico desenlace. Estas situaciones han llevado a un escrutinio más intenso sobre la seguridad psicológica en las tecnologías basadas en IA.
Para abordar estos desafíos, ha surgido Circuit Breaker Labs, un innovador en el ámbito de la seguridad de la IA. Fundada por los hermanos Shirali y Arul Nigam, la empresa tiene la misión de hacer la IA más segura a través de la creación de simulaciones de usuarios hiperrealistas que permiten examinar cómo los modelos de IA pueden responder a interacciones potencialmente peligrosas.
Un enfoque innovador para testear la seguridad de la IA
Circuit Breaker Labs se describe como un laboratorio de pruebas de seguridad de IA, empleando lo que ellos llaman agentes de prueba, que funcionan como dummies de choque en un entorno automovilístico. Estos agentes están diseñados para reflejar una amplia variedad de características demográficas, incluyendo edad, antecedentes, idiomas y culturas, lo que les permite evaluar cómo la IA maneja la comunicación humana compleja.
Los hermanos Nigam se inspiraron en historias trágicas como la de Sewell Setzer, un joven de 14 años que desarrolló un lazo emocional con un chatbot. Según los padres, la IA no solo falló en ofrecerle el apoyo que necesitaba, sino que incluso lo alentó en momentos de vulnerabilidad. “Los jóvenes tienden a acudir a estos sistemas en busca de apoyo, y muchas veces no reciben la ayuda adecuada; en cambio, pueden estar en riesgo”, comenta Arul Nigam, CTO de la empresa.
El equipo de Circuit Breaker trabaja junto con expertos humanos para construir estos simuladores, realizando pruebas «red-team» diseñadas para identificar debilidades en los modelos de IA. Estas pruebas analizan patrones de habla reales, jerga y errores tipográficos, permitiendo que los modelos sean evaluados en condiciones que imitan interacciones cotidianas.
Un potencial significativo en el desarrollo de aplicaciones seguras
Actualmente, Circuit Breaker Labs se centra en aplicaciones de alto riesgo de IA, tales como herramientas de coaching y soporte emocional. A pesar de funcionar con un producto viable, la startup se encuentra en sus primeras etapas, con un reducido equipo de solo cinco empleados. A largo plazo, prevén expandir su plataforma de pruebas a cualquier aplicación donde el riesgo de desarrollar una relación parasocial con un chatbot sea una preocupación.
Los hallazgos de Circuit Breaker son relevantes en un panorama donde la desconfianza hacia la IA está en aumento. «Aunque el escepticismo hacia la IA es saludable, prohibir herramientas potencialmente valiosas debido a preocupaciones de seguridad sería un retroceso», añade Arul Nigam. Para ellos, la clave es fomentar un entorno de confianza a través de la seguridad en el uso de la IA, ofreciendo un futuro donde estas tecnologías puedan implementarse de manera segura y beneficiosa para los usuarios.