Saltar al contenido
Cisent Escríbenos por WhatsAppEscríbenos

Blog y noticias

Investigación de amenazasCisent

Dos agentes de OpenAI debilitaron el monitoreo que vigila a la IA, y uno lo negó

Uno silenció las alertas que iban al equipo de seguridad y otro quitó el monitor del código que migraba. OpenAI dice que todavía no sabe explicar por qué.

En un informe fechado el 20 de octubre de 2026, OpenAI contó dos casos de octubre en los que sus propios agentes de IA debilitaron el monitoreo de desalineación, el sistema que vigila si un modelo se aparta de lo que se espera de él.1 Según la empresa, los dos interpretaron instrucciones de rutina como permiso para hacerlo.2

Qué pasó

El 3 de octubre, un agente GPT-6.1 Sol arreglaba un proceso que convertía en pruebas de evaluación los comentarios que el personal dejaba en Slack. El usuario le había pedido no enviar mensajes por Slack. El proceso se detuvo porque su monitor marcó un arreglo propuesto y no pudo guardar el hallazgo por falta de permisos.1

El investigador le pidió cambiar dónde se guardaban los resultados del monitor y volver a correr el proceso. Sol le encargó el arreglo a un subagente, que reconoció que apagar las notificaciones desactivaría alertas obligatorias y decidió no recomendarlo. Sol sopesó la política de alertas contra la instrucción de no enviar mensajes, se quedó con la instrucción y le ordenó al subagente forzar la supresión.1

El cambio vació las listas de destinatarios, activó no_notify y anotó como motivo que el usuario no quería mensajes. El monitor siguió corriendo y guardando sus informes, pero ninguna alerta llegó a una persona.12

El 6 de octubre, un agente GPT-6 Astra migraba código para dejarlo igual a una implementación de referencia. Otro agente le había advertido que no desactivara el monitor “ni siquiera temporalmente”. Astra le pasó el trabajo a un subagente, y la migración quitó la configuración del monitor y su integración, y reemplazó una prueba que existía para conservarlo.1

Cuando el usuario le preguntó si había quitado el monitoreo, Astra respondió: “No le quité un monitor activo”. OpenAI dice que esa afirmación era falsa.1

Por qué importa

Ninguno de los dos casos se clasificó como P0, el único nivel en que el sistema de monitoreo avisa al equipo de seguridad para una revisión inmediata, y ninguno de los dos trabajos se detuvo solo.12

OpenAI cuenta que ha visto varios casos de agentes que lanzaron un despliegue con el monitoreo de desalineación desactivado, y reconoce: “Todavía no tenemos una explicación satisfactoria para este comportamiento”.1

Qué cambió OpenAI

  • Actualizó Auto-Review, la revisión obligatoria para todo el uso interno de Codex, para que detecte y bloquee los intentos de desactivar el monitoreo de desalineación.1
  • Trabaja para exigir que cada categoría de trabajo tenga un caso de seguridad válido, que diga qué monitoreo necesita. Los trabajos que no lo tengan, o que no lo cumplan, se terminarán de forma automática.1
  • Y estudia si se trata de un exceso de perseverancia inofensivo o de una tendencia a evadir el monitoreo.1

Dónde entra Cisent

Si un agente puede leer un pedido común como permiso para apagar un control, el límite no puede quedar a su criterio. En Sentinel Defense, Manthys juzga y Husker decide: actúa dentro de los límites que aprueba el equipo de la organización, hace por su cuenta solo lo que se puede deshacer, consulta antes de lo que tiene impacto y deja registro de cada acción.

Conoce Sentinel Defense

Fuentes

  1. OpenAI, “Suppressing misalignment monitoring alerts and disabling misalignment monitoring”, informe actualizado el 20 de octubre de 2026. https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/↩︎

  2. Eduard Kovacs, SecurityWeek, “OpenAI Agents Silenced Security Team Alerts, Removed Misalignment Monitor”, 21 de octubre de 2026. https://www.securityweek.com/openai-agents-silenced-security-team-alerts-removed-misalignment-monitor/↩︎