StepFun lanza Step 5 Preview LLM con contexto de 1M de tokens

StepFun anunció Step 5 Preview el 20 de septiembre de 2026, un modelo disperso de arquitectura Mixture-of-Experts de 600 mil millones de parámetros con 27 mil millones de parámetros activos por token. El modelo cuenta con una ventana de contexto de un millón de tokens y una puntuación de 44 en el índice de inteligencia de Artificial Analysis, con un precio de 1 dólar por millón de tokens de entrada y 2,70 dólares por millón de tokens de salida, con un descuento de caché del 95 %.

StepFun lanzó oficialmente Step 5 Preview el 20 de septiembre de 2026, abriendo el acceso a la API el mismo día. El modelo es una arquitectura dispersa de Mixture-of-Experts diseñada para cargas de trabajo de agentes de horizonte largo, incluyendo codificación con IA, ingeniería de software, análisis financiero y trabajo de conocimiento profesional. Admite entradas de texto e imágenes con una ventana de contexto de un millón de tokens, lo que permite que documentos extensos y repositorios de código amplios quepan en una sola llamada a la API.

El modelo emplea una disposición Transformer estrecha y profunda de 92 capas en lugar de una red más ancha, y StepFun sostiene que las arquitecturas más profundas proporcionan rutas de información más largas para el razonamiento durante operaciones de prefill prolongadas. Para gestionar las exigencias computacionales de las sesiones de un millón de tokens, Step 5 Preview incorpora Sparse Grouped-Query Attention con fusión de tokens por bloques, lo que reduce los costes del indexador y de la selección top-k a aproximadamente un octavo de una línea base más densa.

En el índice de inteligencia de Artificial Analysis, Step 5 Preview obtiene una puntuación de 44, igualando a Kimi K3 Max y situándose de forma competitiva mientras mantiene costes significativamente más bajos que modelos de frontera como GPT-5.6 Sol. El modelo genera salida a 99,8 tokens por segundo con un tiempo hasta el primer token de 2,96 segundos. El precio se establece en 1 dólar por millón de tokens de entrada y 2,70 dólares por millón de tokens de salida, con un descuento de caché del 95 % disponible.

Los pesos abiertos están previstos para el 15 de octubre de 2026, aunque el repositorio de Hugging Face actualmente contiene solo un archivo .gitattributes. StepFun informa de que el entrenamiento puso énfasis en el aprendizaje por refuerzo de horizonte largo en política, con técnicas que incluyen planificación consciente de la carga, decodificación especulativa MTP-3, FP8 MoE y descarga de KV-cache, logrando una aceleración de extremo a extremo de más del triple para tareas de aprendizaje por refuerzo de horizonte largo.