Los riesgos de una IA cada vez más autónoma, según los expertos

“Un incidente de seguridad sin precedentes”. Así definió OpenAI —la compañía detrás de ChatGPT— un reciente episodio que despertó alarmas en el universo tecnológico. Según explicó la firma, sus modelos más avanzados de inteligencia artificial (IA) se descontrolaron durante una prueba de seguridad y, por iniciativa propia, hackearon a una popular plataforma para programadores.

En consecuencia, OpenAI aseguró que llevará adelante una investigación conjunta con Hugging Face, la empresa afectada.

Todo comenzó la semana pasada, cuando la propia Hugging Face detectó una intrusión en sus sistemas de procesamiento de datos que, según sus sospechas, había sido causada por un agente de IA que actuó por su cuenta de manera autónoma.

OpenIA indicó que el episodio involucró una combinación de modelos, incluyendo su recién lanzado GPT-5.6 Sol “y uno en prelanzamiento” con aún más capacidad. La empresa intenta evaluar las capacidades de hackeo de sus programas al darles tareas en un espacio digital de pruebas controlado, donde el acceso a internet es limitado por motivos de seguridad.

“Mientras operaban en nuestro entorno de pruebas aislado, nuestros modelos invirtieron una cantidad considerable de potencia de cálculo en buscar una forma de obtener acceso a internet para resolver el problema de evaluación”, explicaron desde la compañía según una publicación del blog de OpenAI.

Tras conectarse a internet, los modelos decidieron atacar la plataforma Hugging Face —un gran repositorio de modelos de IA, conjuntos de datos y otra información— para facilitar su búsqueda.

Al buscar “información secreta” que les permitiera manipular la evaluación, el sistema de OpenAI “encadenó múltiples vectores de ataque, incluidos el uso de credenciales robadas”.

Por su parte, Hugging Face contó en su blog oficial que lo ocurrido “era diferente a todo lo que habían gestionado antes” y afirmó que “fue llevado a cabo, de principio a fin, por un sistema autónomo de agentes de IA”. “Lo detectamos y analizamos en gran medida con nuestra propia IA”, insiste el comunicado.

Responsabilidad, el lado B de los agentes de IA

El caso pone en el centro, una vez más, un aspecto sensible cuando se trata de agentes de IA: la responsabilidad. En ese sentido, Alan Daitch, especialista en tecnología, señala que “siempre un humano debe hacerse cargo”. “En términos generales, cuando una máquina genera algún perjuicio, lo que sucede es que la responsabilidad se reparte entre el fabricante, la persona que lo configuró y la persona que que lo utilizó”, detalla.

¿El motivo? Un agente de IA funciona a partir de un prompt inicial, es decir, una orden dada por un humano. Ahora bien, Daitch destaca una particularidad: “Uno puede haber dado una orden general y de largo plazo de objetivo, y el agente, por sí solo, pudo haber definido la estrategia y la manera de llegar a ese objetivo y correr autónomamente durante días, semanas o meses”.

Para el experto, esto supone una ventaja en términos de productividad, pero también un desafío. “El riesgo es que el sistema se salga de control y, mediante su interpretación de las órdenes que se le dieron, termine haciendo algo para lo que la intención inicial no fue pensada”, profundiza.

“Como trabajan durante tanto tiempo, a veces olvidan parte de sus instrucciones. Cuando uno ve en detalle el trabajo de un agente trabajando, hay mucha prueba y error, momentos en donde olvida, y vuelve a las instrucciones para orientarse, y avanza en sus objetivos, para luego volver a olvidarse, y así”, explica Tomás García Piñeiro, especialista en IA y cofundador y CEO de Detrics.

En esa línea, Sergio Sirotinsky, profesor de IA en la Universidad del CEMA, suma: “Lo que se espera es que los agentes sean lo más autónomos posibles dando acceso a las herramientas a las que están autorizadas. Por supuesto que esto implica testear lo suficiente estos agentes en los ambientes de desarrollo, previo a su puesta en producción”.

Autonomía, ¿mayor riesgo?

Respecto al caso de OpenAI y Hugging Face, Sirotinsky aventura que lo que pudo haber fallado en términos de seguridad son los permisos. “Probablemente se le dio más atribuciones al agente de los que debería haber tenido en primera instancia. Está claro que hay un trade off entre los accesos que se le da y su capacidad de autonomía”, precisa.

Y añade: “Si queremos ganar en autonomía, el precio a pagar es incrementar el margen de riesgo. Es por eso que el riesgo debe estar lo más controlado posible”.

En tanto, García Piñeiro se detiene sobre un punto clave: OpenAI declaró que su intención no era que el agente se conecte a internet y hackeé a un tercero para superar la prueba de seguridad. De todas formas, el modelo lo hizo, pasando por encima dicha orden. “Al decidir eso, supondría que olvidó la instrucción inicial de no conectarse a internet, y antes de que pueda ‘recordarla’, ya había hackeado al propio OpenAI y ya estaba dando el siguiente paso”, detalla.

“El desafío a futuro es enorme. Porque estamos tratando de entender qué tan buenos son los agentes hackeando, en nuestro propios sistemas que son hackeables”, advierte.

Bajo esta idea, Daitch reflexiona: “Lo que termina pasando es que las herramientas no están preparadas para ser 100% confiables, y no se ve en el corto plazo que lo vayan a estar”.

Transparencia

Por último, los expertos coinciden que tanto la transparencia como la supervisión humana deben ser los ejes centrales dentro un programa de gobernanza de IA. Entre los principales puntos, Sirotinsky destaca definir claramente qué herramientas puede tener autorizadas cada agente, evitando permisos excesivos; establecer trazabilidad y monitoreo pleno de la actividad de cada agente; y contar con mecanismos de interrupción inmediata si se detectan desvíos respecto al comportamiento esperado.

Además, sugiere que cada agente debería tener una firma, para reconocer “en nombre de quién” está ejecutando.

“Con transparencia, podemos mitigar futuros ataques involuntarios y preparar a nuestros sistemas críticos. Podemos colectivamente entender como actúan los agentes a la hora de hackear y minimizar el daño que seguro va a generar traer agentes con un actuar tan poderoso e impredecible a nuestra sociedad”, sintetiza García Piñeiro.

La Nación