Cover Image for Amenazas a la cadena de suministro ponen de manifiesto vulnerabilidades en los LLMs y la inteligencia artificial.

Amenazas a la cadena de suministro ponen de manifiesto vulnerabilidades en los LLMs y la inteligencia artificial.

Los riesgos en la cadena de suministro de inteligencia artificial destacan las vulnerabilidades en los modelos de lenguaje de código abierto.

Recientemente, se ha incrementado la preocupación sobre los riesgos en la cadena de suministro de software, especialmente en lo que respecta al software de inteligencia artificial (IA) de código abierto. Investigaciones han revelado que en Hugging Face, una plataforma similar a GitHub pero dedicada a modelos de IA, podrían existir hasta cien modelos potencialmente maliciosos. Este hallazgo subraya las vulnerabilidades que pueden sorprender a los equipos de desarrollo cuando trabajan con modelos de aprendizaje automático (ML), conjuntos de datos o aplicaciones de demostración.

No solo Hugging Face presenta estos riesgos, ya que PyTorch, también una biblioteca de ML de código abierto desarrollada por el laboratorio de investigación en IA de Facebook, se enfrenta a preocupaciones similares. A pesar de ser ampliamente utilizada en aplicaciones de aprendizaje profundo y de ofrecer una plataforma flexible para construir y desplegar redes neuronales, su reciente compromiso plantea interrogantes sobre la fiabilidad de los modelos de IA de sitios de código abierto, ante el temor de que su contenido haya sido contaminado por actores maliciosos.

Mientras que la comunidad de código abierto ha promovido la colaboración y el desarrollo de ideas, la posibilidad de que actores maliciosos ingresen en la cadena de suministro pone en riesgo la seguridad, corrompiendo las tuberías de CI/CD o alterando componentes que se asumían seguros.

A medida que las organizaciones muestran interés en incorporar modelos de lenguaje grande (LLM) en sus portafolios, los líderes de ciberseguridad deben adaptarse a los nuevos desafíos de seguridad en la cadena de suministro, no solo en el ámbito de DevSecOps tradicional, sino también en operaciones de ML (MLOps) y LLM (LLMOps). Es fundamental que los CISOs y los profesionales de la seguridad estén atentos a detectar conjuntos de datos maliciosos y reaccionen rápidamente ante ataques potenciales en la cadena de suministro.

El Proyecto Abierto de Seguridad de Aplicaciones a Nivel Mundial (OWASP) ha creado un conjunto de vulnerabilidades específicas para LLMs, destacando que estas no son iguales a las vulnerabilidades tradicionales, y su importancia radica en el contexto del desarrollo de IA. Entre las vulnerabilidades más comunes se encuentran las inyecciones de comandos, que permiten a los atacantes manipular un LLM mediante entradas bien elaboradas, lo que podría generar salidas corruptas y propagar código inseguro en sistemas conectados.

Otro problema es la tendencia de los LLMs a "alucinar", generando información inexacta o engañosa. Estas alucinaciones podrían ser aprovechadas por actores maliciosos para introducir código inseguro, planteando así nuevos tipos de ataques en la cadena de suministro. La manipulación de entradas también puede ocasionar que se produzcan salidas perjudiciales que escapen a la detección, afectando profundamente el ciclo de vida del desarrollo de software.

Para abordar estos retos, es esencial implementar un enfoque de Zero Trust, que incluya la filtración de datos provenientes de los LLMs hacia los usuarios y sistemas de backend. También es importante utilizar técnicas criptográficas, como las firmas digitales, que aseguran la autenticidad e integridad de los modelos, lo que es crucial en entornos donde los modelos son distribuidos a través de servicios en la nube.

El uso de marcas de agua dentro de los modelos también ofrece una capa adicional de protección, permitiendo rastrear la propiedad, aun si el modelo es duplicado o robado. Herramientas como Card de Modelos y la Lista de Materiales de Software (SBOM) son útiles para aumentar la transparencia sobre los sistemas complejos de software, ayudando a identificar vulnerabilidades y comprender mejor la composición del software.

A medida que las innovaciones como el ML-BOM (Lista de Materiales de Aprendizaje Automático) ganan relevancia, permiten una visibilidad clara sobre los componentes y procesos del desarrollo y despliegue de ML. Esto es vital para la identificación y resolución de vulnerabilidades, y para asegurar el cumplimiento de normativas de transparencia y gobernanza.

Por último, extender las estrategias de DevSecOps a LLMOps incluye seleccionar modelos adecuados, depurar datos de entrenamiento y establecer un monitoreo adecuado en los sistemas. Todas estas medidas constituyen un marco para garantizar el desarrollo seguro de LLMs, al tiempo que se fomenta la creatividad e innovación en el uso de IA bajo un enfoque de Zero Trust.