Un estudio revela que más datos de entrenamiento sobre inyección de prompts pueden hacer más fácil secuestrar agentes de IA
Investigadores de la University of Waterloo, la Zhejiang University y el KTH descubrieron que los agentes de IA reentrenados con un conjunto mayor de ataques de inyección de prompts resultaron más fáciles de secuestrar en tres de cuatro pruebas. La herramienta de red teaming que encontró más ataques eficaces produjo la defensa más débil.
Por qué importa
Los equipos que protegen agentes de IA deberían priorizar la variedad de ataques, no solo el volumen, al probar contra la inyección de prompts.
aii.news selecciona y resume noticias de fuentes fiables con ayuda de la IA. Cada noticia enlaza a la información original. Cómo trabajamos.