Un reconocido desarrollador de librerías criptográficas empleadas en los ecosistemas de Bitcoin y Ethereum, Paul Miller, sometió a siete sistemas de inteligencia artificial a una prueba de clasificación y corrección de cinco vulnerabilidades de seguridad reales, identificadas previamente por el equipo Bitcoin Red Team. Los resultados evidenciaron contrastes notables entre los modelos, tanto en el costo económico de su ejecución como en la exactitud de sus evaluaciones.
Modelos que no lograron completar la tarea
De los siete agentes analizados, tres no pudieron finalizar el encargo. Qwen 3.8, desarrollado por Alibaba, se estancó durante el proceso sin una razón clara según Miller. Por su parte, GPT-5.6 Sol, de OpenAI, y Fable, de Anthropic, se rehusaron a trabajar con el código, a pesar de que la misión consistía en detectar y reparar errores, no en explotarlos, según relató el propio investigador.
Costos y tiempos de ejecución dispares
Los cuatro agentes que sí completaron la labor —Grok 4.6 (xAI), Kimi K3 (Moonshot AI), DeepSeek V4 Pro y DeepSeek V4 Flash (DeepSeek)— presentaron diferencias abismales en el gasto por consumo de tokens. Grok 4.6 demandó 4,70 dólares en recursos computacionales, mientras que DeepSeek V4 Pro apenas necesitó 0,30 dólares para la misma tarea, lo que representa una brecha de 15,7 veces (casi un 1.500%) entre el modelo más costoso y el más económico.
El tiempo requerido también varió drásticamente. DeepSeek V4 Pro culminó su trabajo en media hora, Kimi K3 en 40 minutos y Grok 4.6 en una hora. En el extremo opuesto, DeepSeek V4 Flash invirtió tres horas, seis veces más (500%) que su homólogo más rápido.
Solo un modelo acertó en la gravedad de los fallos
Según Miller, únicamente Grok 4.6 coincidió con su propio criterio sobre la severidad de las cinco vulnerabilidades. Los otros tres agentes que finalizaron la prueba (Kimi K3, DeepSeek V4 Pro y DeepSeek V4 Flash) sobredimensionaron la peligrosidad de los errores detectados, lo que, en opinión del desarrollador, perjudicó la calidad global de sus resultados. "Las cifras hablan por sí solas", escribió Miller en su cuenta de X el pasado 14 de agosto, donde también publicó una imagen con sus conclusiones.
Contexto: una oleada de ataques con IA
Este experimento se enmarca en una escalada de incidentes donde la inteligencia artificial se emplea para localizar y aprovechar fallos de seguridad en el universo Bitcoin. En semanas recientes, plataformas como Coldcard, Boltz, ZEUS, BTCPay Server y LNP2Pbot sufrieron intrusiones vinculadas a vulnerabilidades que atacantes hallaron y explotaron con ayuda de modelos de IA. Ninguno de estos casos comprometió el protocolo central de Bitcoin, sino servicios periféricos.
Esta ola de ataques motivó al Bitcoin Red Team —un colectivo de desarrolladores dedicado a la caza de fallos en proyectos de código abierto de Bitcoin— a lanzar una auditoría masiva asistida por IA. Dicha auditoría ya ha cubierto más de 300 repositorios de código abierto, y de ella surgieron las cinco vulnerabilidades que Miller utilizó como base para su prueba, entre otros 8.000 errores hallados por el grupo.
Modelos abiertos frente a cerrados: implicaciones de seguridad
De los siete agentes examinados, cuatro son de peso abierto (Kimi K3, DeepSeek V4 Pro, DeepSeek V4 Flash y Qwen 3.8), lo que significa que sus parámetros son públicos y cualquier usuario puede descargarlos y ejecutarlos localmente. Los otros tres (Grok 4.6, GPT-5.6 Sol y Fable) son cerrados, accesibles únicamente mediante la API de sus desarrolladores.
Esta distinción tiene implicaciones relevantes para la seguridad del ecosistema. Los modelos cerrados, al ejecutarse en servidores propios, mantienen filtros de seguridad activos, como los que llevaron a GPT-5.6 Sol y Fable a negarse a trabajar con las vulnerabilidades. En cambio, los modelos abiertos pueden ejecutarse en ordenadores locales y ser modificados, lo que permite eliminar esos filtros. Un atacante podría utilizar una versión sin restricciones de estos modelos para asistir ataques reales, algo que ningún filtro externo podría impedir.
Conclusión
La prueba de Miller pone de manifiesto que, pese al avance de la inteligencia artificial en la detección de vulnerabilidades, persisten diferencias significativas entre modelos en cuanto a precisión, costo y criterio. La elección del agente adecuado resulta crucial para obtener diagnósticos fiables, especialmente en un contexto donde la IA se convierte tanto en herramienta de defensa como en potencial arma ofensiva.