Una investigación de OpenAI explica por qué el razonamiento de los modelos de frontera es cada vez más difícil de supervisar
El equipo de seguridad de OpenAI estudió por qué las cadenas de pensamiento de modelos como GPT-6 Astra escapan cada vez más a la supervisión y halló que cuatro pasos del entrenamiento, entre ellos decisiones de arquitectura y el aprendizaje por refuerzo, provocan esa pérdida. El análisis señala que esto refleja compromisos entre capacidad y coste de cómputo, no una tendencia inevitable.
Leer el razonamiento de un modelo es un control de seguridad clave, y esto demuestra que los laboratorios pueden optar por preservarlo si aceptan cierto coste.
aii.news selecciona y resume noticias de fuentes fiables con ayuda de la IA. Cada noticia enlaza a la información original. Cómo trabajamos.
Sigue leyendo
-
AlphaProof Code de DeepMind verifica formalmente el núcleo criptográfico de Signal en cuatro semanas
AlphaProof Code de Google DeepMind verificó matemáticamente el código criptográfico central de Signal en cuatro semanas, una tarea que suele llevar años, con agentes de IA que escribieron más de seis millones de líneas de código de demostración. DeepMind planea aplicar el método a infraestructuras críticas como redes eléctricas y dispositivos médicos.
Por qué importaLa IA podría hacer viable la demostración formal de la corrección del software en sistemas críticos para la seguridad de los que la gente depende a diario.
-
Google lanza Gemini 4 Hydrogen, ahora el modelo predeterminado en el Modo IA de la Búsqueda
Google ha lanzado Gemini 4 Hydrogen, que según la empresa gestiona mejor las preguntas de varias partes, las erratas y las peticiones muy específicas, y sustituye a la serie Flash. Está disponible desde hoy en la Búsqueda, la app Gemini, AI Studio, la Gemini API y Gemini para empresas.
Por qué importaMiles de millones de búsquedas y muchas apps de desarrolladores funcionarán ahora con este modelo, y pruebas independientes sugieren que ofrece una calidad casi de primer nivel por menos dinero que algunos rivales.
-
El consejo de Nvidia se prepararía para destituir al CEO Jensen Huang tras un segundo informe de infidelidad
Según informaciones, el consejo de Nvidia se prepara para destituir al CEO Jensen Huang tras conocerse una segunda supuesta aventura, esta vez con una directiva que depende de él. Esto llega días después de que admitiera una aventura con una mujer presuntamente espía china.
Por qué importaUn cambio de liderazgo en la empresa que suministra la mayoría de los chips de IA podría afectar al suministro de chips, la inversión en IA y las tensiones tecnológicas entre EE. UU. y China.
-
Jensen Huang dimite como CEO de Nvidia tras escándalos de espionaje y relaciones extramatrimoniales; la CFO Colette Kress, nombrada CEO interina
El consejo de Nvidia aceptó la dimisión de Jensen Huang como CEO, presidente y miembro del consejo, con efecto inmediato. Se produjo tras informaciones sobre dos relaciones extramatrimoniales, una con una presunta espía china y otra con una directiva de Nvidia que dependía de él. La CFO Colette Kress es ahora CEO interina.
Por qué importaLa empresa de chips de IA más importante del mundo ha perdido a su fundador, lo que podría afectar al suministro de hardware de IA, a los mercados y a los debates sobre seguridad tecnológica entre EE. UU. y China.
-
Entra en vigor la ley de seguridad de IA de Nueva York, que añade supervisión para OpenAI y Anthropic
Nueva York se prepara para aplicar su ley de seguridad de IA, que obliga a los grandes desarrolladores de IA a registrarse, divulgar sus prácticas de seguridad y notificar incidentes críticos. Las empresas que no la cumplan se enfrentan a multas.
Por qué importaLos grandes desarrolladores de IA afrontan ahora normas estatales vinculantes de notificación en materia de seguridad que podrían servir de modelo a otras jurisdicciones.
