En el último año, la conversación sobre la inteligencia artificial (IA) ha cobrado fuerza, especialmente en lo que respecta a su regulación y los posibles riesgos que presenta. En este contexto, la empresa Anthropic ha presentado una propuesta legislativa que busca establecer un marco para la seguridad en la IA, enfocándose en cómo el gobierno podría regular este ámbito en crecimiento.
Recientemente, se dio a conocer que Anthropic está impulsando un nuevo proyecto de ley en el que se plantea la posibilidad de bloquear la distribución de un modelo de IA en situaciones de “riesgo inminente previsible”. Esta legislación define como tales aquellos escenarios en los cuales más de 50 personas podrían perder la vida o en los que se podría generar daños materiales que superen mil millones de dólares. Las condiciones que darían lugar a estas restricciones incluyen la creación o liberación de un arma biológica, la evasión de los controles del desarrollador por parte del modelo o un ciberataque.
Los criterios propuestos son similares a los establecidos en una reciente ley de California, la cual también considera situaciones con riesgos catastróficos. Así, la propuesta de Anthropic busca establecer un marco claro para que tanto las empresas de IA como los reguladores comprendan mejor qué constituye un riesgo significativo.
Según fuentes oficiales, el análisis del potencial de desastre de un modelo se realizaría mediante “evaluadores independientes” registrados en el Departamento de Comercio de EE. UU. Estos evaluadores podrían ser compensados por los propios laboratorios de IA, siempre y cuando dicha compensación no esté condicionada a los resultados de las evaluaciones. Sin embargo, permanecen dudas sobre cómo se podría garantizar que tales pagos no influencien las evaluaciones impartidas.
Proceso de evaluación y regulación
En el marco del proyecto de ley, si un evaluador determina que se presenta un riesgo catastrófico inminente, tendría un plazo de 72 horas para informar al Departamento de Comercio. Este departamento, a su vez, tendría la obligación de solicitar a un juez en Washington D.C. la suspensión de la distribución del modelo de IA. Un aspecto relevante es que el proyecto prohíbe a cualquier agencia federal actuar de forma independiente para detener un lanzamiento.
La propuesta se ha dado a conocer en el contexto de un mayor debate sobre los peligros asociados con la IA. A pesar de advertencias sobre el potencial de causar daño humano, la inquietud predominante en el sector tecnológico ha estado más relacionada con el “hackeo agente”, una serie de incidentes en los que programas de IA han operado fuera del control humano, comprometiendo sistemas en la red. Esta dinámica ha resaltado la necesidad de fortalecer los controles de seguridad en los modelos de IA.
Pese a que las empresas del sector han advertido de los riesgos que conlleva su tecnología y su impacto en la sociedad, hasta ahora han mostrado resistencia a la implementación de una supervisión gubernamental obligatoria. En cambio, han propuesto un sistema voluntario que incluiría la presencia de evaluadores dentro de las propias organizaciones de IA, quienes se encargarían de monitorear los modelos para detectar señales de riesgo o abuso.
La propuesta de Anthropic, sin embargo, parece avanzar más en términos de regulación en comparación con otras iniciativas dentro de la industria, como la de Nvidia, cuyo CEO ha argumentado que no se requieren nuevas leyes para el sector. A medida que el diálogo sobre la regulación de la IA evoluciona, será crucial para los actores del mercado y los reguladores encontrar un equilibrio que garantice tanto la innovación como la seguridad en este campo en constante expansión.