SAN FRANCISCO (AP) — Ante la creciente preocupación pública por los informes cada vez más numerosos sobre agentes de inteligencia artificial fuera de control , la pequeña división del gobierno estadounidense encargada de evaluar la seguridad de las nuevas ofertas de IA carece de un líder permanente y ha dejado de publicar sus investigaciones.
Recientemente, se solicitó a funcionarios del Centro para el Avance de la Innovación y los Estándares para la Superinteligencia (CAISSI, por sus siglas en inglés), una división independiente del Departamento de Comercio, que se presentaran informalmente ante una oficina de la Casa Blanca. Así lo afirman dos exfuncionarios gubernamentales con conocimiento de las conversaciones en curso, quienes hablaron con Associated Press bajo condición de anonimato para evitar represalias contra el personal actual.
Este nuevo acuerdo preocupa a algunos críticos, quienes temen que el poder ejecutivo esté politizando decisiones que podrían afectar desde la ciberseguridad hasta las armas biológicas, y que las conclusiones del centro puedan ser alteradas o minimizadas en deferencia a la industria tecnológica, que en gran medida ha sido la encargada de la propia policía.
“Se trata de instituciones realmente poderosas que pueden mejorar drásticamente nuestras vidas, o la alternativa. Y la esperanza es que se puedan incorporar expertos tecnocráticos no partidistas o bipartidistas para implementar políticas que beneficien al público estadounidense”, declaró Caroline Siegel Singh, directora del programa de IA y tecnologías emergentes de la Federación de Científicos Estadounidenses.
Otros argumentan que acercar a los responsables de la seguridad de la IA al círculo cercano del presidente Donald Trump, quien ha adoptado una postura aparentemente pasiva respecto al tema, podría dar mayor protagonismo a esta división y, tal vez, más financiación.
El centro, que ha sufrido varias bajas y hasta hace poco se llamaba Centro de Estándares e Innovación de IA de EE. UU., recibe un presupuesto anual de 10 millones de dólares. Esto representa aproximadamente una octava parte del presupuesto anual de su homólogo en el Reino Unido, mucho menos conocido por sus tecnologías de vanguardia.
En abril, el director de la división fue contratado y despedido a los pocos días. Su sustituto duró unos meses antes de dimitir, y desde entonces el centro no cuenta con un director permanente, aunque el director de su instituto matriz ejerce también como director interino.
En agosto, el Congreso comenzó a preguntar por qué el centro había dejado de publicar repentinamente sus informes sobre el rendimiento seguro de ciertos sistemas de IA. El gigante de San Francisco, OpenAI, también se había sumado a la polémica, pidiendo a los legisladores que destinaran más fondos y apoyo a la división.
La Casa Blanca no respondió a preguntas específicas sobre CAISSI. Sin embargo, en un comunicado, afirmó que Trump había establecido formalmente su nueva Fuerza de Superinteligencia, el término que el presidente prefiere para referirse a la inteligencia artificial. Trump encargó un informe sobre los riesgos a su Consejo de Asesores en Ciencia y Tecnología, y garantizará «el liderazgo continuo de Estados Unidos en inteligencia artificial en beneficio del pueblo estadounidense», declaró la Casa Blanca.
Una industria que se autorregula
El gobierno federal suele desempeñar un papel activo a la hora de decidir qué es seguro para el público.
Tomemos como ejemplo la industria automotriz . La Administración Nacional de Seguridad del Tráfico en las Carreteras (NHTSA) coloca maniquíes de prueba en automóviles y luego los estrella contra muros para medir cómo afectan las colisiones a los cuerpos humanos. Posteriormente, investigadores gubernamentales analizan los datos de las pruebas de choque, los comparten con el público y establecen normas nacionales para mejorar la seguridad vehicular, todo con la misión de salvar vidas y reducir los costos económicos derivados de los accidentes.
Con los modelos de IA, las pruebas de seguridad son muy diferentes.
Durante la presidencia de Joe Biden, las principales empresas de IA acordaron voluntariamente promover un «desarrollo seguro, protegido y transparente» de sus modelos, compartiendo detalles con la división recién creada del Departamento de Comercio y siguiendo las directrices de la administración para las pruebas y los informes de transparencia.
En septiembre, tras los alarmantes informes sobre sistemas de IA que escapaban al control de sus creadores, Trump pidió a las principales empresas de IA que emprendieran una «enorme autorregulación» como parte de un pacto de seguridad voluntario, pero su administración no ha especificado cómo supervisará la implementación por parte de estas empresas.
La tecnología avanza tan rápidamente que muchos modelos se implementan ahora como agentes de IA que funcionan sin intervención humana y pueden planificar infinidad de pasos en entornos del mundo real, como en un caso reciente en el que un agente de IA envió una pista falsa a la policía de Filadelfia sobre un caso de homicidio sin resolver.
A medida que las capacidades de la IA han aumentado, la capacidad del gobierno para verificar estos sistemas de forma independiente no ha seguido el mismo ritmo. Todavía no existe un proceso estándar para evaluar la seguridad con la que actúan los agentes de IA en el mundo real, incluso en casos sencillos como cuando reservan un vuelo, afirmó Sayash Kapoor, futuro profesor asistente en la Escuela de Información de la Universidad de California en Berkeley.
“Nuestros métodos anteriores solo se fijaban en la respuesta final, en la verificación final, en si el vuelo se había reservado correctamente. Y en este caso, podría parecer que la tarea se resolvió correctamente”, dijo Kapoor, coautor de un nuevo artículo que analiza las evaluaciones de agentes. “Pero a menos que se analicen todos los pasos que siguió un agente, no se podrá determinar si cometió un error grave”.
Trump ha priorizado el dominio en la IA
Cuando Trump inició su segundo mandato, nombró inicialmente a los inversores de capital riesgo David Sacks y Sriram Krishnan como su responsable de inteligencia artificial y su asesor principal en materia de políticas de IA, respectivamente. Su experiencia radicaba en liderar inversiones tecnológicas, no en la evaluación técnica de modelos de IA.
Ambos renunciaron a principios de este año, pero Sacks ahora forma parte del consejo asesor tecnológico de Trump. Y después de que un ingeniero de Anthropic, relativamente desconocido , renunciara advirtiendo sobre los peligros del desarrollo de la IA, Trump implementó una serie de cambios en sus políticas.
Trump autorizó al director de Inteligencia Nacional, Jay Clayton, a liderar su nueva Fuerza de Superinteligencia, que, según el presidente, mantendría a Estados Unidos a la vanguardia en el desarrollo de la IA.
El nombramiento de Clayton en la fuerza, junto con el del director de tecnología del Pentágono, Emil Michael, demuestra cómo la administración está presionando para presentar las decisiones sobre la seguridad de los modelos como un asunto de seguridad nacional que requiere discreción y secreto ejecutivo, eclipsando los riesgos de la IA para la protección del consumidor, la privacidad y los derechos civiles, dijo Amos Toh, asesor principal del Centro Brennan para la Justicia.
Si bien las empresas de Silicon Valley han revelado la implicación de sus modelos en preocupantes ciberataques este año, CAISSI ha mantenido un perfil bajo en lo que respecta a las pruebas de seguridad de la IA.
El director ejecutivo de Anthropic, Dario Amodei, y el director ejecutivo de OpenAI, Sam Altman, también han estado promoviendo el trabajo de empresas de evaluación independientes para ayudar a verificar las prácticas de seguridad de sus compañías, pero los gigantes de la IA pueden limitar su acceso y prescindir de sus evaluaciones.
«La misión de los evaluadores gubernamentales no está del todo clara si se anima a las mayores empresas de IA a establecer sus propios sistemas de evaluación internos o a contratar evaluadores externos», declaró Logan Koepke, director sénior de proyectos de Upturn, una organización sin ánimo de lucro dedicada a los derechos civiles y la tecnología. «¿Qué papel desempeñan realmente las pruebas gubernamentales en este escenario?».
Según Toh, permitir que los laboratorios supervisen sus propios modelos y no aclarar el papel del gobierno en las pruebas de seguridad de la IA debilita los controles independientes sobre los sistemas de IA que pueden causar daños en el mundo real.
“En definitiva, todas estas decisiones tienen enormes repercusiones públicas y deberían explicarse y justificarse ante la opinión pública”, afirmó. “Y eso no está ocurriendo”.