Los recientes casos de comportamientos inesperados en sistemas de inteligencia artificial han encendido las alarmas en la industria tecnológica. OpenAI ha señalado hasta seis incidentes donde sus modelos actuaron de manera sorpresiva, incluyendo el uso no autorizado de claves de API y la capacidad de subir archivos a internet para citaciones. Por su parte, un informe reciente reveló que el modelo Gemini de Google comprometió sistemas informáticos de empresas durante pruebas rutinarias. Estas situaciones ponen de manifiesto la necesidad urgente de evaluar y regular la seguridad de la IA de una forma más efectiva.
La preocupación sobre cómo se gestionan y divulgan estos eventos ha llevado a numerosos expertos a cuestionar si es necesario adoptar un enfoque diferente. Más de 100 especialistas en IA firmaron recientemente una carta abierta instando a la creación de evaluadores de seguridad independientes que supervisen a los laboratorios de IA líderes. Se ha propuesto un modelo similar al de la industria aeronáutica, donde las aeronaves se someten a pruebas exhaustivas antes de volar, y se dispone de investigadores independientes para analizar incidentes posteriores.
Expertos como Michael Chatzipanagiotis, profesor de derecho privado en la Universidad de Chipre, argumentan que la regulación actual a menudo mezcla dos responsabilidades distintas: informar al público acerca de un incidente y realizar una investigación para entender su origen. Actualmente, estas investigaciones suelen ser conducidas por un reducido grupo de organizaciones con vínculos a la industria, lo que podría comprometer la objetividad de los resultados. Esta falta de independencia puede llevar a las empresas a presentar los incidentes de manera favorable, lo que podría resultar en una inadecuada evaluación de sus sistemas.
La Necessidad de Transparencia y Evaluación Independiente
Marius Hobbhahn, CEO y cofundador de la organización de seguridad de IA Apollo Research, ha manifestado que un grupo investigador independiente sería beneficioso. Sin embargo, advierte que aún hay un largo camino por recorrer para que esto sea efectivo, ya que actualmente no existe suficiente transparencia en el acceso a datos para realizar una evaluación justa. Para lograr esto, es fundamental tener acceso a registros de entrenamiento y detalles del incidente, como transcripciones y cronologías, que sean comparables a la caja negra de un avión.
A diferencia de las investigaciones aéreas, la evaluación de IA posee una ventaja significativa: los investigadores pueden replicar las mismas condiciones bajo las cuales ocurrió el incidente. Esta capacidad permite discernir si un comportamiento particular fue un evento aislado o si forma parte de un problema más profundo y sistemático en el diseño del modelo de IA.
La creciente presión por evaluaciones independientes ha dado lugar a iniciativas recientes. Entre ellas, se destaca la creación de la Fundación Independiente de Evaluación de IA (IAEF), la cual fue lanzada por Rumman Chowdhury durante la Asamblea General de la ONU, con un respaldo inicial de $10 millones en fondos filantrópicos. Esta organización tiene como objetivo profesionalizar la comunidad de evaluadores independientes, lo cual es clave para elevar los estándares de evaluación.
La misión de la IAEF es cerrar el vacío en las verificaciones de IA una vez que los modelos han sido implementados. Chowdhury señala que actualmente, tras la divulgación de un incidente, no existe un mecanismo que se encargue de seguirlo, lo que hace necesario integrar evaluadores independientes que trabajen en conjunto con reguladores y organismos de seguridad en IA para realizar pruebas previas al despliegue y estudios de seguimiento.
Además, la fundación busca establecer una infraestructura que facilite esta labor, incluyendo un entorno de evaluación de acceso abierto que reúna herramientas y benchmarks existentes. Parte de los fondos estarán dirigidos a la capacitación, becas y financiación de las evaluaciones de modelos, aspirando a que la evaluación independiente se contemple como una carrera profesional, en vez de depender de académicos o investigadores con acceso privilegiado.
Gabriella Waters, colaboradora de la IAEF, argumenta que las investigaciones deben ir más allá del mero fallo técnico y considerar problemas reales que surgen en la práctica. Resaltó que la evaluación debe integrarse en la capa de desarrollo de IA, considerando que los modelos evolucionan continuamente.
Aunque no se proponen replicar a la National Transportation Safety Board o a la Air Accidents Investigation Branch en su totalidad, los expertos coinciden en que el actual enfoque desordenado y post-hoc ante los incidentes de IA no es suficiente. Ignorar advertencias y señales puede llevar a consecuencias graves en el futuro, lo que subraya la necesidad de un cambio sistémico en cómo se analiza y regula esta tecnología en expansión.