)
Última actualización: 10 de noviembre, 2026
Una científica de datos carga un modelo open-weight con una línea de Python. Antes de la primera predicción, el archivo ya ha ejecutado código ajeno. ¿Qué debe cubrir la seguridad de modelos de IA para evitarlo? Cada etapa por la que pasa el modelo: de dónde viene, con qué se entrenó, dónde viven sus pesos y cómo se comporta en producción.
TL;DR: puntos clave
- Los modelos maliciosos se acumulan: un estudio reunió 18.195 modelos maliciosos en Hugging Face, que pasaron de media más de 233 días sin detectarse (Zhang et al., 2026).
- Los formatos inseguros siguen ahí: el 9,3 % de 10.023 repositorios populares de Hugging Face creados en el último año aún usa Pickle (Qin et al., 2026).
- Los escáneres fallan: una nueva familia de ataques evade diez escáneres de modelos, con una tasa de evasión del 63 % en su variante más fuerte (Pradhan et al., 2026).
- Envenenar es barato: 250 documentos maliciosos bastaron para meter una puerta trasera en modelos de hasta 13.000 millones de parámetros, en laboratorio (Anthropic, 2025).
- El acceso es la brecha: solo el 40 % de las organizaciones controla el acceso a modelos y datos de IA. Entre las que sufrieron una brecha de IA, el 92 % no lo hacía (IBM, 2026).
De un vistazo: la seguridad de modelos de IA en todo el ciclo de vida
Respuesta rápida
¿Qué incluye la seguridad de modelos de IA?
La seguridad de modelos de IA protege cuatro puntos: los archivos que descargas, los datos que formaron el modelo, los pesos que guardas y lo que responde en producción. Cada punto pide su control: escaneo y firma, revisión de datos, control de acceso e inspección en tiempo real.
| Etapa | Amenaza principal | Evidencia | Primer control |
|---|---|---|---|
| Archivos del modelo | Código que se ejecuta al cargar | 18.195 modelos maliciosos en un hub (2026) | Formatos seguros, escaneo y firmas |
| Datos de entrenamiento | Envenenamiento y puertas traseras | 250 documentos bastaron en laboratorio (2025) | Procedencia de datos y pruebas adversarias |
| Pesos | Robo y manipulación | 38 vectores de ataque distintos (2024) | Pocas copias, pocas personas, acceso vigilado |
| Ejecución | Prompt injection, fuga de datos, mal uso | El 92 % de las empresas afectadas no tenía controles de acceso (2026) | Inspección de prompts, respuestas y herramientas |
Cómo comparamos
Leímos dos estudios de 2026 sobre modelos maliciosos en Hugging Face, uno sobre evasión de escáneres y el estudio de envenenamiento de Anthropic. Añadimos RAND, OWASP, OpenSSF e IBM.
Cuando el archivo del modelo es código
Muchos formatos de modelo no son solo datos. Pickle, detrás de muchos checkpoints de PyTorch, guarda instrucciones que Python ejecuta al cargar el archivo. Un archivo malicioso puede abrir una reverse shell o leer credenciales antes de que tu código toque un peso. Por eso los modelos forman parte de tu cadena de suministro de software.
Según Zhang et al. (2026), más del 81 % de los modelos maliciosos estudiados combinaba varias tácticas. Las cuatro herramientas de detección probadas mostraron muchos falsos negativos.
Hay formatos más seguros, pero su adopción es desigual. Qin et al. (2026) encontraron 9.544 modelos en Pickle en 929 repositorios populares creados entre julio de 2025 y junio de 2026.
| Formato | ¿Ejecuta código al cargar? | Uso típico | Qué hacer |
|---|---|---|---|
| Pickle (.pkl, .pt, .bin) | Sí | Muchos checkpoints de PyTorch | Evitarlo, o escanearlo y aislarlo |
| Safetensors | No, solo guarda tensores | Muchos modelos open-weight | Preferirlo y verificar el origen |
Trata los escáneres como una capa más. Pradhan et al. (2026) demostraron ataques que sobrescriben módulos de Python de confianza para saltarse las listas de permitidos. ReversingLabs halló dos modelos maliciosos en 7z que el escáner del hub no marcó.
)
Datos envenenados y puertas traseras ocultas
El envenenamiento cambia lo que el modelo aprende, no lo que hace su archivo. El atacante coloca ejemplos en los datos de entrenamiento o de ajuste para que el modelo se comporte con normalidad hasta que aparece un disparador. Escanear archivos no lo detecta, porque los pesos parecen normales. Hay que probar el comportamiento.
Atacar puede costar menos de lo que crees. Anthropic (2025) demostró que 250 documentos bastaron en todos los tamaños probados; en el modelo mayor eran el 0,00016 % de sus tokens. La puerta trasera era acotada: hacía generar texto sin sentido. No está claro si el patrón se mantiene en modelos mayores.
El ajuste fino trae un riesgo más cercano. OWASP (2025) advierte que un adaptador LoRA malicioso puede comprometer un modelo base de confianza y que las model cards no garantizan el origen.
Cómo proteger los pesos del modelo
Los pesos son el activo. Quien los tiene puede ejecutar, copiar o modificar el modelo sin tus controles. Protegerlos significa limitar dónde hay copias, quién llega a ellas y cómo pueden salir. RAND muestra que no existe una única solución, así que planifica varias capas.
Según RAND (2024), proteger los pesos de modelos de frontera implica 38 vectores de ataque y cinco niveles de seguridad, desde delincuentes oportunistas hasta estados. Su consejo vale para cualquier modelo valioso: centraliza las copias, reduce quién accede, protege las interfaces y vigila las amenazas internas.
La mayoría aún no llega: según IBM (2026), solo el 40 % controla el acceso a modelos y datos de IA. Para el robo vía API, mira nuestra guía de robo de modelos de IA.
Controles de seguridad de modelos de IA que funcionan
Una buena seguridad de modelos de IA combina prevención antes del despliegue con verificación en cada traspaso. Usa formatos que no ejecuten código, escanea lo que no puedas evitar y firma los modelos para que la manipulación se note. Después prueba el comportamiento con red teaming, porque revisar archivos no revela un modelo envenenado.
| Control | Qué cubre | Dónde se aplica | Límite |
|---|---|---|---|
| Formatos seguros (Safetensors) | Ejecución de código al cargar | Selección del modelo | El código de carga propio aún se ejecuta |
| Escaneo de modelos | Patrones maliciosos conocidos | CI/CD y registro de modelos | Aparecen nuevas técnicas de evasión |
| Firma y hashes | Manipulación tras el entrenamiento | Subida, despliegue y carga | Prueba el origen, no el buen comportamiento |
| Red teaming | Puertas traseras, jailbreaks, conducta insegura | Antes de lanzar y tras cada cambio | Solo cubre lo que pruebas |
| Inspección en tiempo real | Prompt injection y fuga de datos | Producción | Hay que calibrarla |
Según OpenSSF (2025), su proyecto model-signing admite cualquier formato y tamaño de modelo y varios métodos de firma, entre ellos Sigstore. Recomienda firmar al entrenar y verificar al subir, desplegar y usar el modelo.
OWASP (2025) aconseja usar solo modelos de fuentes verificables, con firmas y hashes. Para ataques al comportamiento, lee cómo proteger los LLM de ataques adversarios.
Seguridad y gobernanza: modelos en producción
Un modelo verificado puede usarse mal cuando ya está en producción. IBM (2026) indica que las brechas ligadas a la IA subieron al 21 % de las organizaciones con brechas estudiadas, desde el 13 % del año anterior. Las que implicaron un modelo malicioso costaron 4,94 millones de dólares de media, y las de inversión de modelos, 6,07 millones.
Tres riesgos merecen más atención:
- Prompt injection: entradas manipuladas que anulan las instrucciones.
- Fuga de datos: el modelo devuelve registros sensibles o el system prompt.
- Mal uso de herramientas: el modelo lanza acciones que no debería.
IBM señala que las causas más comunes no fueron fallos del modelo, sino de los sistemas que lo rodean. Más en nuestro resumen de riesgos de seguridad de la IA en 2026.
Archivos y datos de entrenamiento necesitan los controles neutrales de arriba. NeuralTrust cubre la parte de producción. Cada llamada al modelo pasa por Agent Gateway (TrustGate), un único punto que controlas y mides. Inspeccionas cada interacción con Agent Runtime Security (TrustGuard) y pruebas modelos con AI Red Teaming (TrustTest).
¿Cuál deberías elegir?
Tus prioridades dependen de cómo obtienes y usas los modelos. Si descargas modelos open-weight, empieza por los archivos. Si haces ajuste fino, por los datos y adaptadores. Si sirves un modelo propio valioso, por los pesos. Y casi cualquiera con modelos en producción necesita inspección en tiempo real.
| Si... | Empieza por | Por qué |
|---|---|---|
| Descargas modelos open-weight de hubs públicos | Formatos seguros, escaneo y firmas | Los archivos pueden ejecutar código al cargar |
| Ajustas modelos con datos o adaptadores externos | Procedencia de datos y red teaming tras cada ajuste | El envenenamiento se esconde en el comportamiento |
| Sirves un modelo propio | Pocas copias de pesos, mínimo privilegio y vigilancia | Los pesos son lo que buscan los atacantes |
Conclusión
La seguridad de modelos de IA empieza antes del despliegue y no termina nunca. Archivos maliciosos, datos envenenados, pesos robados y ataques en ejecución piden controles distintos. Usa formatos seguros, firma y verifica cada traspaso, guarda los pesos en pocos sistemas y haz red teaming tras cada cambio. Después vigila los modelos en producción, donde IBM sitúa las causas más comunes de brecha.
Asegura tus modelos de IA en producción con NeuralTrust
Verifica los modelos antes de desplegarlos y pasa cada llamada por una capa clara que inspecciona cada prompt y respuesta.
)
Comparativas relacionadas
- Robo de modelos de IA: cómo evitarlo
- Por qué tu modelo de IA podría estar filtrando datos sensibles
- Seguridad de agentes de IA y destilación
- La IA hackeó Hugging Face dos veces: guía para CISOs
Preguntas frecuentes sobre seguridad de modelos de IA
1. ¿Qué es la seguridad de modelos de IA?
Es el conjunto de controles que protege un modelo de machine learning en todo su ciclo de vida: archivos, datos de entrenamiento y ajuste, pesos y comportamiento en producción. Complementa la seguridad de aplicaciones y datos, porque IBM sitúa las causas más comunes de brechas de IA en los sistemas que rodean al modelo.
2. ¿Cuáles son los principales riesgos?
Los principales son archivos maliciosos que ejecutan código al cargar, datos de entrenamiento envenenados y el robo o la manipulación de pesos. Los ataques en ejecución, como la prompt injection y la fuga de datos, completan la lista. Según IBM, en 2026 las brechas con un modelo malicioso costaron 4,94 millones de dólares de media.
3. ¿Qué es el escaneo de modelos de IA?
Es la inspección de los archivos del modelo antes de cargarlos. Los escáneres buscan deserialización insegura, imports peligrosos y código incrustado. Funcionan mejor en CI/CD y en el registro de modelos. Estudios de 2026 muestran ataques que los evaden, así que combínalos con formatos seguros y firmas.
4. ¿Cómo se prueba la seguridad de un modelo de IA?
Prueba por separado archivos, comportamiento y despliegue. Escanea y verifica la firma de cada archivo. Haz red teaming contra jailbreaks, prompt injection, fuga de datos y puertas traseras, sobre todo tras un ajuste fino. Revisa también accesos y permisos. OWASP recomienda red teaming extenso al elegir un modelo de terceros.
5. ¿Son seguros los archivos Safetensors?
Los archivos Safetensors solo guardan tensores, así que cargarlos no ejecuta código incrustado como puede pasar con Pickle. Eso elimina el ataque más común a nivel de archivo, pero no demuestra que el modelo sea fiable. Puede estar envenenado o venir de un impostor: verifica el origen y prueba su comportamiento.
6. ¿Qué es la firma de modelos?
La firma de modelos añade una firma criptográfica a los archivos para comprobar quién los creó y que nada ha cambiado. El proyecto model-signing de OpenSSF llegó a la versión 1.0 en abril de 2025. Admite cualquier formato y tamaño, y funciona con Sigstore, certificados autofirmados o pares de claves.
Sobre el autor
Roger Howroyd es Head of Global SEO and AI en NeuralTrust, donde dirige la estrategia de búsqueda de la compañía en SEO, AEO, GEO y optimización para LLM. Está especializado en búsqueda impulsada por IA, estrategia de contenidos y SEM. Conecta con él en LinkedIn.
NeuralTrust es la plataforma líder para proteger y escalar agentes de IA. Nombrada pionera en el Gartner Emerging Market Quadrant for AI Application Security 2026, reconocida en cuatro informes Gartner Hype Cycle en 2026 y destacada en la Gartner Market Guide for Guardian Agents 2026, la Gartner Market Guide for AI Gateways 2025 y el KuppingerCole Leadership Compass for Generative AI Defense 2025. Con sede en Barcelona y oficinas en Londres y Nueva York. Certificada ISO 27001.
Fuentes
- Zhang, Hu, Xia, Lo y Li, "A Closer Look at the Malicious Pre-Trained Models on Hugging Face", ICSE 2026 Journal Ahead Workshop, 13 de abril de 2026. https://conf.researchr.org/details/icse-2026/jaws-2026-papers/33/A-Closer-Look-at-the-Malicious-Pre-Trained-Models-on-Hugging-Face
- Qin et al., "DITTO: A Context-aware Pickle-based Pre-Trained Model Scanner for Effective Security Audits", arXiv, octubre de 2026. https://arxiv.org/abs/2610.10735
- Pradhan, Nambiar y Soremekun, "ShadowPickle: Evading Machine Learning Model Scanners via Stealthy Pickle Deserialization Attacks", arXiv, julio de 2026. https://arxiv.org/abs/2607.17503
- ReversingLabs, "Malicious ML models discovered on Hugging Face platform", 6 de febrero de 2025. https://www.reversinglabs.com/blog/rl-identifies-malware-ml-model-hosted-on-hugging-face
- Anthropic, UK AI Security Institute y The Alan Turing Institute, "A small number of samples can poison LLMs of any size", 9 de octubre de 2025. https://www.anthropic.com/research/small-samples-poison
- RAND, "Securing AI Model Weights: Preventing Theft and Misuse of Frontier Models", 30 de mayo de 2024. https://www.rand.org/pubs/research_reports/RRA2849-1.html
- OWASP GenAI Security Project, "LLM03:2025 Supply Chain", 2025. https://genai.owasp.org/llmrisk/llm032025-supply-chain/
- OpenSSF, "Launch of Model Signing v1.0", 4 de abril de 2025. https://openssf.org/blog/2025/04/04/launch-of-model-signing-v1-0-openssf-ai-ml-working-group-secures-the-machine-learning-supply-chain/
- IBM y Ponemon Institute, "Cost of a Data Breach Report 2026", 29 de julio de 2026. https://assets.ibm.com/adobe/assets/urn:aaid:aem:21111142-1251-4369-86fb-57b82f5bb108/original/as/Cost%20of%20a%20Data%20Breach%20Report%202026.pdf