Claude AI y otros sistemas podrían ser susceptibles a preocupantes ataques de inyección de comandos.
Investigadores en ciberseguridad han descubierto métodos para hacer que las herramientas de inteligencia artificial generativa actúen de manera inapropiada.
Investigadores en ciberseguridad han logrado engañar a Claude Computer Use de Anthropic para descargar y ejecutar malware mediante técnicas de inyección de prompts. Este modelo de Inteligencia Artificial, lanzado en octubre de 2024, permite a la IA controlar un dispositivo, y su reciente abusos han hecho que los expertos adviertan sobre sus vulnerabilidades.
Johann Rehnberger, uno de los investigadores, explicó cómo logró manipular Computer Use para obtener acceso a malware, así como para comunicarse con su infraestructura de comando y control (C2). A pesar de la magnitud del problema, es importante señalar que Claude Computer Use se encuentra en fase beta y los desarrolladores han aconsejado tomar precauciones para aislar la IA de datos sensibles debido a los riesgos que conlleva la inyección de prompts.
Rehnberger denomina a su exploit ZombAIs y mencionó que utilizó la herramienta para descargar Sliver, un marco de C2 de código abierto desarrollado por BishopFox para pruebas de penetración. Aunque es una herramienta legítima, también ha sido utilizada de manera indebida por ciberdelincuentes. Mediante Sliver, los atacantes pueden acceder de manera persistente a sistemas comprometidos y ejecutar comandos.
El experto subrayó que esta no es la única forma de abusar de las herramientas de IA generativa, y que las violaciones se pueden realizar a través de múltiples métodos. Rehnberger destacó que también es posible hacer que Claude escriba y compile malware desde cero, resaltando la capacidad de la IA para generar código C.
Además, se ha descubierto que otros chatbots de IA, como DeepSeek, son vulnerables a ataques de inyección de prompts que pueden permitir a los atacantes tomar control de computadoras de las víctimas. También, se ha identificado que los Modelos de Lenguaje Grande (LLM) pueden generar códigos de escape ANSI que pueden ser utilizados para tomar control de terminales del sistema en ataques conocidos como Terminal DiLLMa.
