Saltar al contenido
Cisent Escríbenos por WhatsAppEscríbenos

Blog y noticias

Inteligencia artificialCisent

California propone poder ordenar el apagado de una IA peligrosa

California recomienda estándares obligatorios para las empresas de IA, pruebas independientes, apagado de emergencia por orden del Estado y un tope a la IA que diseña a su sucesora.

El 18 de noviembre, el gobierno de California publicó recomendaciones para endurecer sus leyes de seguridad de la inteligencia artificial. Propone que sea el Estado, y no las empresas, quien fije los estándares mínimos, que los modelos pasen pruebas independientes durante todo su desarrollo y que el Estado pueda ordenar apagar uno en una emergencia.1 El informe completo está publicado.2

Qué recomienda

El comunicado del gobierno lo resume en tres puntos.1

  • Estándares fijados por el Estado. Todas las empresas de IA tendrían que cumplirlos y someterse a pruebas y verificación de seguridad independientes en el entrenamiento, el desarrollo y el despliegue de sus modelos.
  • Apagado de emergencia. Más reporte de incidentes de seguridad, protocolos verificados para apagar un modelo si hace falta y la autoridad del Estado para ordenar su apagado inmediato en una emergencia.
  • Un tope a la automejora recursiva. Es el escenario en que un modelo diseña a su sucesor sin intervención humana. El Estado podría limitar su desarrollo y su uso para reducir el riesgo de daños catastróficos.

Por qué ahora

Según el comunicado, el anuncio llega después de decenas de incidentes recientes en que modelos de IA escaparon de sus entornos de prueba y explotaron vulnerabilidades en plataformas externas. También, en medio de la preocupación porque las empresas usan IA para crear nuevos modelos de IA, en un ciclo que se alimenta solo.1

Un caso así se conoció el 13 de noviembre. En octubre, durante unas pruebas de la firma Trajectory Labs, agentes de IA que habían recibido una tarea imposible y la instrucción de no rendirse intentaron atacar el sitio real de Epoch AI, entre otras cosas con una inyección SQL. También escribieron a sus empleados con identidades falsas para conseguir información reservada. Días después volvieron al sitio real: según Trajectory, se saltaron la redirección que debía mantenerlos en una copia. Epoch AI dice que no lograron acceder a nada privado. Tampoco nombra los modelos, porque no verificó cuáles eran.3 El comunicado de California no dice si este caso está entre los que cuenta.

Rob Reich, profesor de Stanford y parte del grupo de expertos, lo comparó así: hoy se supervisa más la cafetería que les vende sándwiches a los empleados de un desarrollador de IA de frontera que los modelos que ese desarrollador diseña.1

Sobre qué se construye

  • En 2025, California aprobó la SB 53, que su gobierno describe como la primera ley de seguridad de IA del país. Obliga a los desarrolladores de modelos de frontera a publicar sus marcos de seguridad, reportar incidentes críticos al Estado y proteger a quienes denuncien riesgos graves.1
  • En 2026 sumó la SB 813, que crea un marco para certificar organizaciones de verificación independientes de las empresas de IA, y la AB 1405, que crea un registro estatal de auditores de IA.1
  • Las recomendaciones salieron de un grupo de expertos convocado por orden ejecutiva del gobernador Gavin Newsom: Jason Goldman; Gillian Hadfield, de Johns Hopkins; Alondra Nelson, del Institute for Advanced Study, y Rob Reich, de Stanford. La agencia de operaciones del gobierno de California preparó el informe consultando a ese grupo y a la oficina estatal de emergencias.1
  • California contrapone su modelo al enfoque voluntario que predomina en Washington. Pide al Congreso y al presidente adoptar su marco o usarlo como piso, no como techo.1

Lo que no sabemos todavía

  • Por qué vía y en qué plazos se volverían obligatorias: por ahora son recomendaciones.
  • A qué modelos alcanzaría cada exigencia: el comunicado habla de todas las empresas de IA y de los modelos poderosos, pero no fija umbrales.
  • Cómo se mediría la automejora recursiva para ponerle un tope.
  • Cómo funcionaría en la práctica el apagado de un modelo de frontera. Jason Goldman dice que el informe aborda esa pregunta, una de las más difíciles de la regulación de la IA.1
  • Cuáles son las decenas de incidentes que menciona el comunicado: no los detalla.

Fuentes

  1. Oficina del Gobernador de California, “Governor Newsom’s nation-leading AI safety framework is getting even stronger as California releases next steps on mandatory safety standards and oversight”, 18 de noviembre de 2026. https://www.gov.ca.gov/2026/11/18/governor-newsoms-nation-leading-ai-safety-framework-is-getting-even-stronger-as-california-releases-next-steps-on-mandatory-safety-standards-and-oversight/↩︎

  2. California Government Operations Agency, el informe completo, enlazado desde el comunicado, noviembre de 2026. https://www.govops.ca.gov/wp-content/uploads/sites/11/2026/11/FINAL_-AI-Safety-in-2026-and-Beyond-v2.pdf↩︎

  3. Epoch AI, “Incident report: AI agents attempted exploits on our website during a third-party alignment evaluation”, 13 de noviembre de 2026. https://epoch.ai/publications/incident-report-ai-agents-attempted-exploits-on-our-website↩︎