StepFun publie le LLM Step 5 Preview avec un contexte de 1 million de tokens

StepFun a annoncé Step 5 Preview le 20 septembre 2026, un modèle Mixture-of-Experts clairsemé de 600 milliards de paramètres avec 27 milliards de paramètres actifs par token. Le modèle dispose d'une fenêtre de contexte d'un million de tokens et obtient un score de 44 à l'Intelligence Index d'Artificial Analysis, au prix de 1 dollar par million de tokens en entrée et 2,70 dollars par million de tokens en sortie, avec une remise de 95 % sur le cache.

StepFun a officiellement lancé Step 5 Preview le 20 septembre 2026, ouvrant l'accès à l'API le jour même. Le modèle est une architecture Mixture-of-Experts clairsemée conçue pour les charges de travail d'agents à long horizon, notamment le codage assisté par IA, l'ingénierie logicielle, l'analyse financière et le travail de connaissance professionnel. Il prend en charge les entrées texte et images avec une fenêtre de contexte d'un million de tokens, permettant à de longs documents et à de vastes dépôts de code de tenir dans un seul appel API.

Le modèle adopte une disposition Transformer étroite et profonde à 92 couches plutôt qu'un réseau plus large, StepFun avançant que les architectures plus profondes offrent des chemins d'information plus longs pour le raisonnement lors des opérations de préremplissage étendues. Pour gérer les exigences de calcul des sessions d'un million de tokens, Step 5 Preview intègre une Sparse Grouped-Query Attention avec fusion de tokens par blocs, réduisant les coûts d'indexation et de sélection top-k à environ un huitième de ceux d'une base plus dense.

Sur l'Intelligence Index d'Artificial Analysis, Step 5 Preview obtient un score de 44, égalant Kimi K3 Max et se positionnant de manière compétitive tout en maintenant des coûts nettement inférieurs à ceux de modèles de pointe comme GPT-5.6 Sol. Le modèle génère une sortie à 99,8 tokens par seconde avec un temps jusqu'au premier token de 2,96 secondes. Le tarif est fixé à 1 dollar par million de tokens en entrée et 2,70 dollars par million de tokens en sortie, avec une remise de 95 % sur le cache disponible.

Les poids ouverts sont prévus pour le 15 octobre 2026, bien que le dépôt Hugging Face ne contienne actuellement qu'un fichier .gitattributes. StepFun indique que l'entraînement met l'accent sur l'apprentissage par renforcement à long horizon en politique, avec des techniques incluant l'ordonnancement sensible à la charge, le décodage spéculatif MTP-3, le MoE en FP8 et le déport du cache KV, atteignant une accélération de bout en bout de plus de trois fois pour les tâches d'apprentissage par renforcement à long horizon.