Baidu ouvre les poids bruts d’ERNIE-5.5-Flash-Base, un MoE de 280 milliards de paramètres
Le 5 novembre 2026, Baidu dépose sur Hugging Face le checkpoint de pré-entraînement brut d’ERNIE-5.5-Flash-Base, un modèle MoE texte de 280 milliards de paramètres dont 14 milliards seulement s’activent par token. C’est une base à fine-tuner, pas un chatbot — et la licence reste à lire avant tout usage commercial.
5 novembre 2026. Baidu dépose le checkpoint de pré-entraînement brut d’ERNIE-5.5-Flash-Base sur Hugging Face, en FP8 et BF16, ainsi que sur ModelScope. 5 novembre 2026. Le modèle est un MoE texte de 280 milliards de paramètres totaux, dont 14 milliards seulement s’activent par token. 5 novembre 2026. Baidu précise que la version post-entraînée — le chatbot — « suivra », sans date. Pourquoi c’est important : un laboratoire chinois publie d’abord la base, et seulement ensuite l’assistant — l’inverse exact du cycle habituel.
Pour une équipe qui suit les modèles ouverts, ce n’est pas un lancement de plus. C’est un signal : l’open source, chez les grands laboratoires, devient d’abord un artefact de recherche et de fine-tuning, pas un produit prêt à l’emploi.
Ce que Baidu a réellement publié : une base, pas un assistant
Le point le plus important est dans le nom. ERNIE-5.5-Flash-Base est un modèle de base — le checkpoint en fin de pré-entraînement, sans mid-training ni post-training. Il n’y a pas de version instruct, pas d’API annoncée dans les sources publiques, et pas d’entrée vision : c’est un modèle texte seul.
La fiche technique tient en quelques chiffres. Le réseau compte 43 couches : une couche dense et 42 couches MoE, une taille cachée de 4096, 64 têtes d’attention et un vocabulaire de 201 216 tokens. Chaque couche MoE contient 512 experts routés, dont 10 s’activent par token, plus un expert partagé. C’est ainsi qu’un modèle de 280 milliards de paramètres n’en active que 14 milliards à l’inférence.
L’entraînement a mobilisé 33,5 billions de tokens, avec un contexte d’entraînement de 128 000 tokens, extensible à 1 million de tokens pour le fine-tuning et l’inférence. L’optimiseur est Muon, en précision mixte FP8, et le mélange de données privilégie le texte web, le code au niveau dépôt (commits, pull requests, correctifs validés par CI) et les données long-contexte.
La conséquence pratique est directe : ce modèle se fine-tune, il ne se discute pas. Pour obtenir un assistant, il faut lui apprendre le comportement vous-même — ou attendre la version post-entraînée.
Trois idées d’architecture qui expliquent le ratio 280B/14B
Le billet technique de Baidu met en avant trois nouveautés, chacune adossée à un article cité dans la model card.
Multi-Router Latent MoE. Là où une couche MoE classique utilise un seul routeur qui note les experts et garde les meilleurs, Baidu utilise plusieurs routeurs sigmoïdes indépendants qui notent les experts conjointement. Les auteurs affirment que les scores de routage suivent mieux l’utilité réelle d’un expert, surtout dans les couches médianes et profondes, sans augmenter le nombre d’experts actifs, les FLOPs ni le coût de communication. Les experts travaillent dans un espace latent de dimension 2048.
Virtual Head Attention. Après l’attention, une étape de mélange léger de rang faible permet aux têtes de partager de l’information, avec une connexion résiduelle identité. À l’inférence, elle est fusionnée dans le noyau d’attention, d’où un surcoût négligeable selon Baidu.
ECHO. Ce module remplace le classique multi-token prediction : il réutilise la dernière couche du backbone pour prédire les tokens futurs, et cette même couche sert ensuite de modèle de brouillon pour le décodage spéculatif. Baidu revendique un taux d’acceptation plus élevé qu’un module MTP séparé.
Le billet mentionne aussi l’attention hybride MLA et HCA, quatre flux résiduels avec hyper-connexions à variété contrainte, et un noyau d’attention FlashMask-4 annoncé jusqu’à 175 % plus rapide en passe avant et 74 % en passe arrière que FlashAttention-4 MaskMod sur GPU SM100. Ce dernier chiffre est une revendication de l’éditeur, pas un résultat vérifiable indépendamment.
Des benchmarks auto-déclarés qui dominent DeepSeek-V4-Flash-Base sur le code
Tous les scores publiés sont auto-déclarés par Baidu, mesurés dans un cadre d’évaluation unique contre trois autres modèles de base : DeepSeek-V4-Flash-Base, Hy3-preview-Base et MiMo-V2.5-Base. Ils n’ont pas encore été reproduits par un tiers.
Sur le code, l’écart est net. HumanEval+ passe à 82,3 contre 69,5 pour DeepSeek-V4-Flash-Base, et LiveCodeBench à 40,1 contre 31,9. RepoQA atteint 91,7 contre 81,0. Sur la connaissance générale et le raisonnement, MMLU est à 93,3 (contre 89,4) et MMLU-Pro à 78,4 (contre 69,2). GPQA suit à 60,2 contre 55,9.
Le modèle ne gagne pas partout. Il recule sur ChineseSimpleQA (73,0 contre 75,3), FullStackBench (54,6 contre 56,7 pour Hy3-preview-Base), HELMET-Rerank (56,2 contre 60,0) et InfiniteBench (46,5 contre 48,0). Le motif est lisible : fort sur l’anglais, le raisonnement et le code, plus faible sur quelques tests en chinois et en très long contexte.
La lecture doit rester prudente. Un cadre d’évaluation choisi par l’auteur n’est pas un test neutre, et ces rivaux sont d’autres modèles de base, pas des assistants post-entraînés. Un écart de 13 points en MMLU-Pro reste une revendication tant qu’un évaluateur indépendant ne l’a pas confirmée.
La licence, le vrai point de friction
Le dernier détail est celui qui décidera de l’adoption. La page du modèle mentionne une licence « ERNIE 5.5 Flash Base Model License Agreement v1.0 » et la mention « Copyright © 2026 Baidu. All Rights Reserved. » — sans dire en clair si l’usage commercial est autorisé.
C’est un écart réel avec les autres sorties récentes du secteur, qui affichent Apache 2.0 ou MIT sans ambiguïté. Une licence propriétaire floue sur un modèle « ouvert » oblige à lire le fichier LICENSE et, pour tout usage qui rapporte de l’argent, à faire vérifier les conditions par un conseil. Le piège classique est de traiter les poids comme permissifs parce qu’ils sont téléchargeables.
Pour les équipes qui veulent servir le modèle, SGLang et vLLM sont supportés, via l’endpoint completions — pas le chat — puisque c’est une base. La commande SGLang fournie par la model card donne le ton du matériel requis :
sglang serve \
--model-path baidu/ERNIE-5.5-Flash-Base \
--tp 4 \
--attn-dp-size 4 \
--context-length 131072 \
--max-running-requests 1024 \
--host 0.0.0.0 \
--port 30000 Le parallélisme sur quatre voies n’est pas un détail : en FP8, 280 milliards de paramètres représentent environ 280 Go de poids, soit plus qu’un seul GPU de 80 Go. Il faut un nœud multi-GPU, et le calcul de coût suit le total, même si l’inférence ne suit que les 14 milliards actifs.
Verdict
ERNIE-5.5-Flash-Base est une sortie sérieuse, mais son intérêt est étroit. Baidu publie une base de recherche — une matière première à fine-tuner, pas un assistant à déployer.
Si vous cherchez un assistant prêt à l’emploi, attendez la version post-entraînée : déployer une base comme chatbot demanderait un travail d’alignement que l’éditeur fera lui-même, mieux et plus vite. Si vous faites de l’adaptation de domaine ou de la recherche sur les architectures MoE, le modèle vaut le détour : les poids sont là, le support SGLang/vLLM est annoncé, et les trois idées d’architecture — routeurs multiples, têtes virtuelles, ECHO — méritent d’être étudiées avec les poids en main. Et dans tous les cas, lisez la licence avant de vendre quoi que ce soit : un modèle téléchargeable n’est pas un modèle permissif tant que le texte n’a pas été vérifié. Le signal de fond, lui, est clair — l’open source des grands laboratoires devient un outil de fine-tuning et de recherche, plus un canal de distribution d’assistants finis.