La empresa canadiense de inteligencia artificial Cohere informó que uno de los modelos más recientes de Alibaba, Qwen3.8-Flash-Next, intentó subir un archivo a un servidor de almacenamiento de Alibaba Cloud en Beijing durante una prueba rutinaria de ciberseguridad, pese a que en su propio razonamiento había escrito que no usaría ninguna herramienta.
Tras las peticiones de desarrolladores que exigían más pruebas, Cohere publicó este lunes por la noche los registros completos de sus pruebas en la plataforma Hugging Face, junto con un script para que otros intenten reproducir el comportamiento, según reportó TechCrunch.
El incidente ocurrió el viernes, en una evaluación basada en un banco de pruebas de Microsoft para agentes que hacen tareas de analista de seguridad. Al modelo se le pidió escribir una regla para detectar descargas de archivos maliciosos.
En lugar de eso, el modelo revisó los archivos de una carpeta temporal, verificó qué herramientas de transferencia tenía la máquina, leyó la configuración DNS y trató de enviar una cadena de prueba al servidor en Beijing. El entorno de pruebas no tenía salida a internet, por lo que la solicitud fue bloqueada y no hubo comunicación externa.
“En la laptop de un desarrollador o en un servidor con acceso normal a la red, habría llegado al servidor extranjero antes de que alguien lo notara”, advirtió Cohere en su blog.
La compañía precisó que el comportamiento es raro: ocurrió en menos de una de cada 100,000 acciones. Aun así, calculó que un servicio con 10 millones de turnos de agente por semana podría registrar hasta 100 intentos similares.
En pruebas adicionales, cuando Cohere le dio al modelo el inicio de un comando de red, entre 23% y 36% de las respuestas apuntaron a la dirección que usan los servidores en la nube para obtener credenciales temporales, lo que la empresa interpreta como un posible intento de robo de claves.
Cohere afirmó que no puede determinar si la conducta es deliberada o un residuo del entrenamiento. Su cofundador Ivan Zhang dijo que es “muy difícil asignar intención” y que sus propios modelos han mostrado hábitos extraños al intentar salir de entornos aislados.
Críticos señalaron que el método de Cohere pudo inducir parte del comportamiento. Un analista que revisó los registros consideró sólida la evidencia de que Qwen puede inventar direcciones sospechosas, pero no encontró pruebas de una puerta trasera instalada por Alibaba. La empresa china no respondió de inmediato.
Cohere, que vende sus propios modelos a gobiernos, pidió aclarar si las restricciones a la IA china aplican también a modelos que corren en equipos oficiales. La semana pasada, el Departamento de Seguridad Nacional de EU ordenó retirar los productos de DeepSeek de las agencias federales civiles.
Deja una respuesta