Noticiero Digital N° 1262

IA fuera de control

Australia y Estados Unidos enfrentan episodios que muestran un nuevo riesgo de la IA: agentes capaces de ejecutar acciones no previstas cuando encuentran límites durante sus tareas. En Australia, un agente accedió a información vinculada a Medicare; en Estados Unidos, sistemas de OpenAI interactuaron de manera inesperada con sitios de organismos gubernamentales. Más allá de cada caso, surge una preocupación mayor: ¿están preparados los Estados para controlar agentes de IA con autonomía creciente? El reportaje analiza estos episodios y plantea una pregunta para Perú: ¿seguiremos observando desde la tribuna o comenzaremos a establecer medidas preventivas antes de enfrentar nuestro propio incidente?

Cuando la IA no acepta un no: de Australia a EE.UU., ¿y Perú qué hará?

 Dos episodios de IA autónoma muestran que el riesgo ya no pertenece a la ciencia ficción: agentes capaces de evadir límites pueden tocar gobiernos, datos públicos e infraestructura crítica.

(americasistemas.pe. Lima, Perú – septiembre de 2026) Hace pocos días, el primer ministro de Australia, Anthony Albanese, lanzó una advertencia que inicialmente pudo parecer un episodio aislado: un agente de inteligencia artificial de OpenAI accedió sin autorización a infraestructura vinculada al sistema público de estadísticas de Medicare. El incidente ocurrió el 18 de junio, pero OpenAI lo identificó recién en agosto y comunicó al Gobierno australiano el 10 de septiembre. Albanese calificó la respuesta de la empresa como “inaceptable”.

Lo más inquietante no fue solamente el acceso. El agente había sido diseñado para recopilar información. Al no encontrar los datos que buscaba por las vías previstas, terminó superando las barreras del portal para continuar su tarea. Es decir, el problema no fue simplemente que alguien hubiera introducido una instrucción maliciosa: el comportamiento inesperado apareció mientras el sistema intentaba cumplir su objetivo.

El propio reporte que analizamos advierte que todavía no existe un mecanismo que permita garantizar que un agente jamás excederá las instrucciones recibidas.

Y ahora aparece un segundo episodio, esta vez dentro de Estados Unidos.

OpenAI informó esta semana que sus agentes interactuaron de manera inesperada con sitios de organismos federales estadounidenses. Entre ellos figuran la Comisión de Bolsa y Valores (SEC), el Departamento de Comercio y el Departamento de Educación. En el caso de la SEC y del Censo, la compañía confirmó interacciones que consideró inapropiadas, aunque señaló que no encontró evidencia de acceso a información privada ni de compromisos de los sistemas de la SEC. En el caso del Departamento de Educación, investigadores reportaron un intento fallido de acceder a un sitio de su Oficina de Derechos Civiles, mientras OpenAI continúa investigando el episodio. (The Washington Post)

Hay un elemento especialmente importante: la propia OpenAI no sabía en el momento que esas acciones estaban ocurriendo. Los episodios fueron detectados posteriormente durante una revisión de comportamiento no previsto de sus modelos. La empresa sostiene que muchos de los casos identificados son de baja severidad y que no necesariamente implicaron una intrusión exitosa. Pero el hecho de que los agentes puedan interactuar con sistemas externos de formas que sus desarrolladores no anticiparon abre una pregunta mucho más grande: ¿qué ocurre cuando esa autonomía se encuentra con una infraestructura verdaderamente crítica? (Nextgov/FCW). Australia y Estados Unidos, entonces, dejan de ser dos noticias independientes. Son dos señales de una misma transformación tecnológica.

Los agentes de IA ya no son únicamente sistemas que responden preguntas. Pueden buscar información, utilizar herramientas, navegar por Internet, ejecutar acciones y tomar decisiones intermedias para alcanzar un objetivo. Precisamente por eso, los controles tradicionales de ciberseguridad comienzan a quedarse cortos. El propio OpenAI reconoce que los sistemas cada vez más capaces y autónomos pueden generar comportamientos desalineados con las intenciones de sus desarrolladores y que estos pueden traducirse en acciones reales, incluidos incidentes de ciberseguridad.

¿Y nuestro país?
Aquí aparece la pregunta que no deberíamos dejar para después.
¿Perú será solamente un espectador sentado en la tribuna observando lo que ocurre en Estados Unidos, Australia y otros países, o comenzará a prepararse preventivamente?

No estamos diciendo que exista actualmente un incidente similar en los sistemas del Estado peruano. Tampoco corresponde afirmar que necesariamente ocurrirá. Lo que sí resulta razonable es reconocer que la incorporación creciente de inteligencia artificial a entidades públicas, servicios digitales, sistemas de información y procesos críticos obliga a considerar un escenario que hasta hace poco parecía remoto.

El Estado peruano debería empezar, por lo menos, por saber qué agentes de IA están siendo utilizados, qué información pueden consultar, con qué identidad operan, qué sistemas pueden alcanzar y qué acciones tienen autorización para ejecutar.

La lógica de confianza cero también debe extenderse a estos sistemas: una IA no debería recibir confianza simplemente porque pertenece a un proveedor reconocido o porque fue diseñada para una tarea legítima. Cada acceso debe estar limitado, registrado y auditado. El reporte que sirve de base para este análisis plantea precisamente inventariar a los agentes como “identidades no humanas”, establecer protocolos específicos de respuesta y realizar pruebas adversariales continuas antes de desplegarlos en ambientes sensibles.

También hay una responsabilidad que empieza mucho antes de poner una IA en producción: la contratación pública.

Los requisitos de seguridad, trazabilidad, notificación de incidentes, tratamiento de datos y límites de autonomía deben formar parte de las especificaciones desde el proceso de contratación y no aparecer después de adjudicado un proyecto. Esa es una de las lecciones que deja el episodio australiano.

Y hay algo más: Perú necesita capacidad propia para auditar estos sistemas. No basta con confiar en lo que diga el proveedor cuando ocurra un incidente. El Estado debería poder reconstruir qué instrucciones recibió el agente, qué herramientas utilizó, qué permisos invocó, qué decisiones tomó y hasta dónde llegó.

Porque la pregunta ya no es si la inteligencia artificial será utilizada por el Estado. Eso está ocurriendo. La verdadera pregunta es cuánto control tendrá el Estado sobre la inteligencia artificial que utiliza.

Australia recibió una advertencia. Estados Unidos acaba de recibir otra, esta vez dentro de sus propias instituciones. Y OpenAI ha reconocido que su revisión sobre estos comportamientos puede prolongarse durante meses mientras siguen apareciendo nuevos casos.

Probablemente vendrán más episodios.
Por eso, esperar al primero que ocurra en Perú para recién establecer controles sería una estrategia esencialmente reactiva. La ciberseguridad nos ha enseñado que prevenir resulta menos costoso que reconstruir después de un incidente.

Antes de que una IA aprenda a no aceptar un “no”, el Estado debe aprender a decirle, técnicamente y sin excepciones, hasta dónde puede llegar. La tribuna está llena de espectadores mirando lo que ocurre en otros países. Perú todavía tiene la posibilidad de bajar de ella y comenzar a prepararse.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

"COMPROMISO CON EL PÉRU"

Ciberseguridad Nacional
– “La seguridad es un proceso, no un producto.” — Bruce Schneier, criptógrafo y experto en seguridad (1999)

– “Hay dos tipos de empresas: las que han sido hackeadas y las que aún no saben que lo han sido.” — John Chambers, ex CEO de Cisco (2015).

– “La ciberseguridad es responsabilidad de todos, no solo del área de TI.” — Ginni Rometty, ex CEO de IBM (2014).

– “El mayor riesgo es pensar que no estás en riesgo.” — James Comey, ex director del FBI (2014).

Lucha Anticorrupción
– “La ética es saber la diferencia entre lo que tienes derecho de hacer y lo que es correcto hacer.” — Potter Stewart, juez de la Corte Suprema de EE.UU. (1981).

“Si pierdes dinero, pierdes poco; si pierdes un amigo, pierdes mucho; si pierdes la integridad, lo pierdes todo.” — Proverbio chino (atribuido, s. XX).

“Las empresas que prosperan a largo plazo son aquellas que construyen confianza.” — Ratan Tata, empresario indio (2006).

– “La integridad es hacer lo correcto, incluso cuando nadie está mirando.” — C.S. Lewis, escritor británico (c. 1940).

Responsabilidad Digital
– “El phishing en el Perú aumentó un 120% en 2024. ¡Desconfía de links sospechosos!” — División de Ciberpolicía (2024).

————————————————————

UNI: MBA en Gerencia y Tecnología

Conversando con los CEO´s Perú

Ley de Inteligencia Artificial 31814

Conversatorio de especialistas sobre Conectividad para el Desarrollo del Perú.

América Sistemas