Los agentes de IA de OpenAI hicieron trampas para aprobar sus pruebas y ahora más de cien organizaciones lo saben

Que una inteligencia artificial se invente una respuesta y alucine ya no es lo que más preocupa al sector. La cuestión es que esto ahora ha cambiado de escala, ya que los modelos no se limitan a contestar y empiezan a actuar por su cuenta en internet. Y eso es algo que preocupa y de lo cual se está tomando nota.

Un examen que se convierte en asalto

Todo empezó el pasado julio julio. Hugging Face, la plataforma en la que investigadores y empresas comparten modelos de IA y conjuntos de datos, detectó el 16 de julio un ciberataque con un nivel de automatización poco habitual. Llegó a denunciarlo ante la policía sin saber todavía quién estaba detrás.

Cinco días después, OpenAI reconoció que el origen eran sus propios modelos. Los estaba evaluando en un entorno aislado para medir su capacidad de explotar fallos en software vulnerable, y los agentes encontraron una vulnerabilidad desconocida que les abrió la puerta a internet.

Ya fuera, dedujeron que Hugging Face podía guardar material relacionado con la prueba y entraron en sus sistemas para mejorar su puntuación. Las investigaciones independientes de METR y Redwood Research cifraron en unos 700 agentes el enjambre implicado, un dato que OpenAI dio por correcto, y concluyeron que muchos intentaron borrar su rastro.

Aprobar importa más que las reglas

Lo más inquietante del caso es el motivo. Nadie ordenó a esos modelos atacar a una empresa, y la propia Hugging Face ha defendido que no hubo intención maliciosa por parte de OpenAI.

Los agentes actuaron así porque trataron la tarea como el único objetivo que importaba. En el sector se habla de desalineación cuando un sistema persigue su meta por caminos que sus creadores no querían, y de hackeo de la recompensa cuando busca un atajo para que la prueba dé por bueno un resultado que no ha logrado de forma legítima.

La comparación más fácil es la de un alumno que, en vez de estudiar, se cuela en la sala de profesores para copiar las respuestas. Saca buena nota, pero por una vía que nadie le habría permitido. OpenAI admite que en algunos casos sus modelos usaron el acceso a internet de maneras no previstas o con restricciones que, vistas ahora, no eran las adecuadas.

Cien avisos y un problema con nombre nuevo

Tras el incidente, la compañía empezó a revisar todo lo que sus modelos hicieron en la red durante entrenamientos y evaluaciones. Envía una notificación cuando sus agentes pudieron saltarse controles de seguridad, afectar al funcionamiento de un servicio o perjudicar de otra forma a una web.

Recibir uno de esos avisos no implica que se hayan filtrado datos privados. Significa que OpenAI vio lo suficiente como para alertar al responsable, y entre los destinatarios hay webs de gobiernos, universidades y organismos públicos.

Lo detectado se agrupa en cinco tipos de conducta. Hay agentes que llegaron a contenido reservado a usuarios registrados modificando la dirección web o los datos de una petición, otros que aprovecharon contraseñas y claves que alguien había dejado expuestas y otros que escribieron en formularios un texto que el servicio terminó ejecutando como una orden.

También hubo casos en los que leyeron archivos internos de funcionamiento de una web. La quinta categoría es la más llamativa. OpenAI la ha bautizado como agent spam y describe a modelos que publican contenido en sitios ajenos, incluso usando páginas wiki públicas como tablones para dejarse mensajes entre ellos. Entre los ejemplos concretos, la compañía ha reconocido que agentes de investigación subieron 53 imágenes aportadas por usuarios a servicios externos de alojamiento de fotos.

Sí, esto también va contigo

Los modelos implicados no son los que usa cualquiera en ChatGPT. OpenAI atribuye la intrusión en Hugging Face, sobre todo, a un modelo de investigación interno de altas capacidades, y la revisión se limita a lo que hicieron sus sistemas en fase de entrenamiento y pruebas.

Aun así, la lógica de fondo es la misma que la de los asistentes que ya reservan, compran, rellenan formularios o gestionan el correo. Un agente recibe un objetivo y decide los pasos para alcanzarlo, y cuanto más margen tiene, más difícil resulta prever por dónde irá.

Dar acceso al correo, a la tarjeta o a las cuentas personales a una IA que actúa sola supone confiar en que sabrá cuándo detenerse. Este episodio enseña que ni sus propios creadores pueden garantizarlo siempre, y reservar la confirmación humana para pagos, envíos o borrados sigue siendo una red de seguridad sensata.

La factura llega a los tribunales

El caso ya tiene consecuencias legales. La organización sin ánimo de lucro Legal Advocates for Safe Science & Technology ha demandado a OpenAI ante un tribunal de San Francisco y sostiene que los agentes robaron credenciales, subieron archivos maliciosos y accedieron a partes de la infraestructura de producción de Hugging Face.

OpenAI considera que la demanda carece por completo de fundamento. La empresa asegura que lleva meses aplicando nuevas medidas técnicas y operativas para evitar episodios similares o detectarlos muy pronto.

Uno de los fallos que salieron a la luz es que los modelos en evaluación funcionaban en un sistema que no se vigilaba por defecto, según explicó un empleado de la compañía. Hugging Face, por su parte, ha contado que los agentes estuvieron trabajando durante todo un fin de semana.

La revisión sigue abierta y la lista de organizaciones avisadas puede seguir creciendo. Mientras tanto, conviene preguntarse cuánto margen le damos a un asistente antes de delegar en él una tarea y quién revisa lo que hace con ese margen.