Ataques de envenenamiento de datos: Activando la alerta sobre el peligro silencioso de la inteligencia artificial generativa.
El riesgo de la contaminación de datos.
Un análisis realizado por investigadores de JFrog, una empresa de gestión de software, reveló la presencia de alrededor de cien modelos maliciosos en Hugging Face, lo que ha puesto de manifiesto un aspecto poco reconocido de la ciberseguridad: el envenenamiento de datos y la manipulación de datos. Este fenómeno, que afecta los datos de entrenamiento que se utilizan para desarrollar modelos de inteligencia artificial (IA) y aprendizaje automático (ML), presenta una serie de complicaciones, principalmente debido a su naturaleza inusual como forma de ataque cibernético. En muchos casos, puede ser extremadamente difícil de detectar y detener.
El envenenamiento de datos permite que los atacantes influyan en los modelos de IA, provocando que generen resultados erróneos. Existen dos tipos de ataques: uno que se realiza antes de que el modelo de IA se implemente y otro que ocurre después de su despliegue. Ambos son complicados de identificar y contrarrestar. Según JFrog, los modelos detectados contenían un "cargamento intrigante", que se asemejaba a algoritmos que los investigadores suelen utilizar para demostrar vulnerabilidades, pero que no tenían esta finalidad en el caso de los modelos dañinos encontrados en Hugging Face.
Por otro lado, los problemas inherentes a los modelos de IA complican la detección de estos ataques, al mismo tiempo que alimentan la explotación de sus debilidades. Ejemplos de manipulación de datos de entrenamiento se remontan a los inicios del aprendizaje automático, donde se realizaban ataques adversariales que cambiaban la salida de los modelos. Con el tiempo, los modelos generativos podrían llegar a "envenenarse" a sí mismos al utilizar sus propios resultados como nuevos datos de entrenamiento, un fenómeno conocido como "colapso degenerativo del modelo".
La creciente complejidad del ecosistema de IA, que incluye modelos generativos y modelos de lenguaje grande (LLM), exige que la industria de ciberseguridad reaccione ante el aumento de los ataques dirigidos a estos sistemas. Ignorar el envenenamiento y manipulación de datos podría dar lugar a que los atacantes exploten las vulnerabilidades de manera más sigilosa. Las consecuencias pueden incluir la ejecución de código malicioso, ataques de phishing más exitosos y salidas incorrectas que conllevan comportamientos inesperados, dependiendo de los objetivos del atacante.
Para afrontar estas amenazas, los expertos sugieren una serie de técnicas que se centran en la etapa de entrenamiento de datos y los algoritmos involucrados. Una de las recomendaciones es prestar atención a la cadena de suministro de los datos utilizados en el entrenamiento, asegurando una verificación continua de estas fuentes y señalando cualquier sesgo o anomalía. También se sugiere "sanitizar" los datos mediante métodos de detección de anomalías para evitar que datos adversariales ingresen al proceso de ajuste del modelo.
Además, se aconseja el uso de múltiples algoritmos para comparar resultados y establecer salvaguardias, así como realizar pruebas de penetración y simulaciones de ataques de envenenamiento de datos para evaluar la robustez de los sistemas de IA. Aunque es prácticamente imposible lograr un modelo de IA completamente seguro, la validación constante de las salidas predictivas es considerara esencial, aunque costosa desde el punto de vista computacional.
En un entorno donde la confianza en la tecnología es clave, es fundamental abordar las amenazas de puerta trasera en la generación de códigos de IA, tratando la cadena de suministro de tecnologías emergentes como parte integral del ecosistema. Al monitorear las entradas y salidas de estos sistemas y detectar anomalías, los desarrolladores pueden aplicar controles de seguridad en el ciclo de desarrollo del software de IA. De esta manera, al evaluar los riesgos asociados a los sistemas de IA en el contexto de los procesos empresariales, es posible adelantarse a uno de los desafíos más importantes en el ámbito de la ciberseguridad.
- ciberseguridad
- inteligencia artificial
- envenenamiento de datos
