Moonshot limita las capacidades de hacking de Kimi K3.1 Pro

La startup china de IA Moonshot AI limita de forma deliberada las capacidades de hacking de su modelo más reciente, lo que pone de relieve un dilema de todo el sector: cómo hacer una IA más potente sin facilitar los ciberataques.

La compañía presentó el 24 de octubre Kimi K3.1 Pro, un modelo de pesos abiertos muy capaz, con unos 3 billones de parámetros. Los modelos de pesos abiertos permiten a los desarrolladores descargar los archivos, ejecutarlos en sus propios sistemas y modificar su funcionamiento. Moonshot prevé publicar los pesos el 4 de noviembre.

Datos de ciberseguridad fuera del entrenamiento

Según Moonshot, retiró los datos relacionados con ciberseguridad del conjunto de entrenamiento y de los entornos de aprendizaje por refuerzo para reducir la capacidad del modelo de realizar operaciones ofensivas, manteniendo sus habilidades generales de programación.

Las pruebas internas indican que la medida tiene efecto. Kimi K3.1 Pro obtuvo un 81 % en el benchmark de ciberseguridad de la empresa, que consiste en encontrar y explotar vulnerabilidades de software en un entorno controlado. Una versión similar sin las medidas de reducción de riesgo alcanzó el 90,5 %, una diferencia de 9,5 puntos porcentuales. Los resultados no se han verificado de forma independiente, y el modelo habría superado igualmente a su predecesor.

Además, ofrece una ventana de contexto de un millón de tokens, y existe una versión Highspeed que, según Moonshot, es entre dos y tres veces más rápida que el modelo estándar.

Por qué importa

Las mismas capacidades sirven para defender y para atacar. Los equipos de seguridad pueden usar IA para detectar fallos antes que los delincuentes, mientras que los atacantes pueden emplear modelos que escriben código, manejan herramientas y completan tareas de varios pasos para automatizar parte de un ataque. Moonshot sostiene que la IA de pesos abiertos ayuda a las organizaciones a revisar y proteger software antiguo o descuidado.

Sin embargo, cuando los archivos se distribuyen ampliamente, el desarrollador original controla menos quién los usa y si las salvaguardas siguen siendo eficaces. El asunto también llega a la política: China ha propuesto controles de exportación para tecnología de generación de malware con IA y ciertas herramientas de descubrimiento de vulnerabilidades asistidas por IA, propuestas que siguen en consulta pública.

La próxima prueba llegará el 4 de noviembre, cuando desarrolladores e investigadores de seguridad accedan a los pesos. Entonces se sabrá si las salvaguardas incorporadas en el entrenamiento resisten el uso independiente.