Groot-19B-A3B mete todo su contexto de 256K en una RTX 5090 de 32 GB, y un límite de 24 GB no basta

Créditos

• Groot-19B-A3B-261023: GrootTeam. Hicieron el post-entrenamiento del modelo y publicaron las versiones BF16, FP8, NVFP4 y GGUF (creadas el 2026-10-23, sin acceso restringido, etiqueta license:apache-2.0), la capa MTP, las recetas de vLLM y SGLang, las tablas de benchmarks y las gráficas que usamos como pruebas de visión. Repos: BF16, FP8, NVFP4, GGUF.
• Modelo base: Qwen3.6-35B-A3B, del equipo de Qwen.
• Servicio: el proyecto vLLM (0.32.0) y FlashInfer.
• Dónde lo vimos: AI Search, "AI finally sleeps, Gemini 4 Carbon, ETH cracked, energy-based models, Anthropic IPO: AI NEWS", subido el 2026-11-01, capítulo de Groot en el 47:33. El vídeo trata cuatro variantes de Groot; este post solo trata la de 19B.
• Nuestra parte: el despliegue a través de la plataforma, los prompts y las pruebas, las mediciones, la escalera de VRAM, el ejemplo del SDK y el vídeo de la demo.

Modelo y ficheros

• Un modelo mixture-of-experts (MoE), el diseño que explicamos en nuestro post de Sage-A1.5. Su estructura híbrida viene de Qwen3.6-35B-A3B.
• Arquitectura Qwen3_5MoeForConditionalGeneration: unos 19B parámetros en total más una capa MTP de 0,4B, unos 3B activos por token. 40 capas, 10 de atención completa (full_attention_interval 4) y 30 de atención lineal. Hidden 2048, 16 cabezas de atención, 2 cabezas KV, head_dim 256, vocabulario de 248.320. 128 expertos enrutados más 1 compartido, 8 enrutados activos por token. max_position_embeddings 262.144, ampliable a cerca de 1M con YaRN (factor 4,0), según la página de los autores.
• FP8: bloques de 128x128, E4M3, activaciones dinámicas.
• Estimación aproximada de la KV de las capas de atención completa: 10 capas x 2 cabezas KV x 256 x 2 (K y V) x 2 B = 20 KiB por token, así que unos 5 GiB para 256K, más la capa MTP y los estados de la atención lineal.

Lo que dicen los autores (no reproducido)

• Por delante de los dos en 12 de 16 benchmarks. Un 45,7 % menos de parámetros totales que Qwen3.6-35B-A3B y un 26,9 % menos que Gemma-4-26B-A4B.
• Presupuesto de tokens: la salida media más corta de los 12 modelos medidos en las 16 ejecuciones, un 23,1 % menos de tokens de salida que Qwen3.6-35B-A3B y un 65,6 % menos que Gemma-4-26B-A4B.
• Ajustes de evaluación: modo de razonamiento con el esfuerzo por defecto, temperatura 1,0, top_p 0,95, top_k 20, contexto de 256K. Terminal-Bench 2.1 con el agente Claude Code (max_output_tokens 128K, max_turns 500, timeout de 12 h). NL2Repo-Bench con el agente Claude Code, max_turns 1000, contexto de 80K. HLE juzgado por gpt-5.5.
• "Dónde funciona" (presentado como estimación a partir de la capacidad de memoria): BF16 en una GPU de 48 u 80 GB; FP8 y NVFP4 con 256K en una RTX 5090; GGUF con 128K en una RTX 4060 Ti de 16 GB y con 256K en una RTX 4090/3090 de 24 GB; 256K en máquinas de 128 GB de memoria unificada. Frente a Qwen3.6-35B-A3B: en 16 GB Groot funciona con 128K mientras que Qwen3.6 no carga; en una RTX 5090, 256K frente a 64K.
• Requisitos de software: Transformers >= 5.8.1, vLLM >= 0.19.1, SGLang >= 0.5.10. Razonamiento activado por defecto, se apaga con chat_template_kwargs={"enable_thinking": False}, sin interruptores /think ni /nothink. Muestreo recomendado con razonamiento: temperatura 1,0, top_p 0,95, top_k 20, min_p 0, presence_penalty 1,5. Programación: temperatura 0,6, presence 0. Sin razonamiento: temperatura 0,7, top_p 0,8.

Montaje

• Una RTX 5090, 32.607 MiB, 575 W, driver 595.91.07 (CUDA 13.2), compute capability 12.0, disco de 100 GB, en nuestra nube (InferenceKey Cloud).
• Por qué esta tarjeta: el plan de pruebas nombraba una L40S para la ejecución principal, pero la afirmación estrella de los autores nombra la RTX 5090, así que la ejecución principal fue directa a ella. Los peldaños con menos memoria se ejecutaron en la misma máquina con límites de memoria emulados.
• Las peticiones pasaron por el endpoint compatible con OpenAI de la plataforma (/v1/chat/completions, streaming); las ejecuciones de velocidad sin MTP fueron directas a vLLM.
• Backend vllm de serie, vllm_version="0.32.0" (instala Transformers 5.19 y torch 2.13 para CUDA 13). No usamos SGLang.
• Un manager local de InferenceKey compilado desde origin/main ce3af2dc puso en marcha el worker. Producción no intervino.
• Muestreo de las ejecuciones de velocidad: temperatura 1,0, top_p 0,95, presence_penalty 1,5, streaming. top_k=20 viene de generation_config.json.

Paso a paso con el ejemplo del SDK

1. Clona inferencekey-sdk y abre examples/groot-19b-a3b-fp8-agent-vllm-private-nvidia/ (commit 1c254204).
2. Compila el SDK de Python en local con maturin (consulta examples/CONTRIBUTING.md, sección 4) y ejecuta pip install -r requirements.txt (requests>=2.31).
3. cp .env.example .env y rellena INFERENCEKEY_SDK_TOKEN (ik_sdk_, scopes workload:read y workload:write), INFERENCEKEY_API_KEY (ik_live_, con el workload en allowed_endpoints), INFERENCEKEY_PROJECT e IK_WORKER_ID (un worker NVIDIA privado con 32 GB o más y un driver de CUDA 13, 580 o posterior). Opcional: GROOT_CONTEXT (262144 por defecto), GROOT_MTP (1 por defecto), IK_KEEP_ALIVE=1.
4. python main.py. El flujo: ensure() de un workload vllm fijo en tu worker (ExecutionPolicy.FIXED), wait_until_ready(timeout=2400), una pregunta simple con generate_text(), el prompt en streaming de los autores "I love Groot backwards", una llamada a la herramienta get_weather con el resultado devuelto al modelo, la gráfica de los autores como imagen, respuestas a outputs/answers.json, y después delete() salvo con IK_KEEP_ALIVE=1.

El comando que despliega el ejemplo:

vllm serve GrootTeam/Groot-19B-A3B-261023-FP8 --max-model-len 262144 \
  --gpu-memory-utilization 0.92 --max-num-seqs 8 --enable-prefix-caching \
  --limit-mm-per-prompt '{"image": 2, "video": 0}' \
  --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder \
  --speculative-config '{"method": "qwen3_next_mtp", "num_speculative_tokens": 2}'

Para servir sin razonamiento, añade:

--default-chat-template-kwargs '{"enable_thinking": false}'

Salida principal del ejemplo: el prompt al revés, 460 tokens en 2,12 s a 307,1 tok/s, con la respuesta "toorG evol I"; la pregunta que explica MoE, en 3,8 s.

Tiempos

• De ensure() a listo en un worker en frío: 611,5 s. Instalación de vLLM 0.32.0 unos 170 s, descarga de pesos 27,8 s, carga 51,7 s (19,67 GiB), calentamiento del motor 312,6 s (compilación 37,5 s, dos capturas de CUDA graphs y del especulador de unos 2 min cada una, JIT de FlashInfer).
• Reinicio en caliente (MTP apagado, cachés en disco): calentamiento del motor 86,8 s (compilación 37,1 s), pesos de 19,24 GiB en 23,4 s.

Memoria

• --gpu-memory-utilization 0.92, contexto de 262.144, MTP encendido: KV disponible 6,77 GiB = 307.024 tokens, concurrencia máxima 1,17x. Pool de CUDA graphs 0,19 GiB.
• Lo mismo con MTP apagado: 7,37 GiB = 376.253 tokens, 1,44x.
• nvidia-smi cada segundo: 30.226 MiB sirviendo, pico de 32.016 de 32.607 MiB durante el prompt de 205K (de 530 a 566 W).

Velocidad (una petición, streaming)

• La comparación de MTP mezcla dos vías (MTP encendido a través del gateway, MTP apagado directo). La sobrecarga del gateway no se pudo medir en nuestra prueba anterior de Sage-A1.5 y no se volvió a medir aquí.
• Tokens de razonamiento (usage.completion_tokens_details.reasoning_tokens, ejecuciones directas): 120 de 125 en la pregunta corta; 2.043 de 2.383 y 6.785 de 7.156 en las redacciones. reasoning_content de 9,6K a 23,7K caracteres en las redacciones.

Herramientas, visión, razonamiento

• El ejemplo get_weather de los autores: {"city": "Paris"}, JSON válido, 0,9 s; respuesta final 0,96 s.
• Dos ciudades: un turno con dos llamadas get_weather en paralelo (Lisboa, Oslo; 101 tokens de completion, 0,93 s), después la respuesta (50 tokens, 0,88 s), 1,81 s en total. Toma grabada: 2,9 s (turno 1 de 454 tokens en 1,99 s, turno 2 de 65 tokens en 0,91 s). La longitud del razonamiento en los turnos con herramientas no se capturó de forma fiable en la prueba principal (0 caracteres registrados, mientras que la toma grabada muestra 1.287 y 147 caracteres).
• Gráfica de dispersión (9.279 tokens de prompt): "Groot-19B-A3B ... approximately 42" en 4,12 s. Gráfica de barras (16.329 tokens de prompt): "52.10 ... Gemma-4 (26.52) and Qwen3.6 (43.82)" en 9,21 s, primer token a los 7,25 s.
• chat_template_kwargs={"enable_thinking": false} a través del endpoint: siguió razonando (571 caracteres de razonamiento, 157 tokens de completion).

Escalera de VRAM

Error con el límite de 24 GB:

ValueError: To serve at least one request with the model's max seq len (65536), (1.66 GiB KV cache is needed, which is larger than the available KV cache memory (0.48 GiB). Based on the available memory, the estimated maximum model length is 9648.

Límite de 16 GB, NVFP4: vLLM registra que la GPU no tiene soporte nativo de FP4 y recurre a la compresión FP4 solo de pesos con el kernel Marlin; después falla la compilación JIT de FlashInfer 0.7.0.post1 de gen_gemm_sm120_group_gemm_fp8_groupwise_e4m3_bf16_majorfalse_sm120 y sus hermanos (nvcc 13.0.88), y termina en RuntimeError: Engine core initialization failed.

Sin probar: un peldaño FP8 de 24 GB con 9,6K o menos (la propia cifra de vLLM dice que arrancaría, pero los autores recomiendan al menos 128K), la versión GGUF con llama.cpp, NVFP4 con otra versión de vLLM o FlashInfer o con SGLang, tarjetas reales de 24 y 16 GB, la RTX PRO 4500 de 32 GB, la L40S, BF16. La línea de compatibilidad del README del SDK también incluye RTX PRO 4500/5000, L40S y tarjetas de la clase A6000; solo se midió la RTX 5090.

Problemas pendientes

1. El endpoint descarta chat_template_kwargs, top_k y min_p. La página de los autores apaga el razonamiento por petición con chat_template_kwargs={"enable_thinking": False}. El ChatCompletionRequest del manager no tiene esos campos, así que se descartan. El razonamiento no se puede apagar por petición. Apaño: --default-chat-template-kwargs en el servidor. Estado: abierto, funcionalidad que falta.
2. Primer arranque lento. 611,5 s en frío, sobre todo calentamiento del motor. El worker no instala flashinfer-cubin con vLLM 0.32 (aviso "FlashInfer's precompiled kernels are missing"). Estado: abierto.
3. Ventana completa al límite de la tarjeta. Menos de 600 MiB libres durante el prompt de 205K. Mantén otros procesos fuera de la GPU, o pon GROOT_CONTEXT=131072.
4. NVFP4 no arranca en la RTX 5090 con vLLM 0.32.0 (ver la escalera): no hay ruta FP4 nativa en sm_120, así que vLLM usa el fallback Marlin solo de pesos, y después falla la compilación JIT de FlashInfer. Puede deberse a nuestra imagen del worker, a la que le falta flashinfer-cubin (problema 2). Opciones: añadir los kernels precompilados, probar otra versión de vLLM o FlashInfer, o probar SGLang (ninguna probada). Para tarjetas de 16 y 24 GB los autores remiten a la versión GGUF con llama.cpp (no probada). Estado: abierto, posiblemente por nuestra imagen del worker.
5. Errores de la ficha del modelo. Los comandos de servicio usan Groot/Groot-19B-A3B-261023, que no resuelve (API de HF 401); el repo es GrootTeam/Groot-19B-A3B-261023. El front matter enlaza un fichero LICENSE que devuelve 404 en los cuatro repos; la licencia solo está en la etiqueta apache-2.0 y en los metadatos. Estado: lo señalamos aquí, sigue en la página.
6. Deprecación. vLLM 0.32 registra qwen3_next_mtp como alias obsoleto de mtp. Funciona.
7. Límite del planificador. Los ajustes especulativos fijan max_num_scheduled_tokens en 2048.

Imagen resumen

Vídeo de la demo

La demo narrada de 143 segundos: el despliegue en el panel, la llamada a herramientas con dos ciudades en la RTX 5090, la gráfica de los autores y la escalera de memoria. El póster muestra nuestro tenant de demo.

Fuentes

• Ficha del modelo y repos: BF16, FP8, NVFP4, GGUF (README idéntico en los cuatro), y el enlace a LICENSE (404 el 2026-11-03).
• Listados de la API de Hugging Face de los cuatro repos, consultados el 2026-11-03.
• Ejemplo del SDK, commit 1c25420460d2277219490af8bcf0ec7c173aa423.
• Vídeo de AI Search, IGICYFyP_EI, donde vimos el modelo.
• Nuestros propios registros: los logs de vLLM y del worker, las muestras de nvidia-smi cada segundo y las salidas JSONL de las pruebas de velocidad, aguja, herramientas, gráficas y razonamiento.