À une échelle de quasiment 3000 milliards de paramètres et près de 1000 experts, il faut repenser la circulation de l’information. Ce chantier a guidé le développement du dernier flagship open-weight de Moonshot AI : Kimi K3. Il s’est décliné sur trois dimensions : longueur de séquence, profondeur de réseau et largeur de modèle.

Sur le premier aspect, Moonshot AI a exploité un mécanisme d’attention hybride. Il entrelace, à raison de 3 pour 1, des couches KDA (Kimi Delta Attention) et MLA (Multi-head Latent Attention). Les unes exploitent un état récurrent de taille constante pour limiter l’empreinte mémoire.

Les autres permettent de maintenir le contexte global. Le mécanisme dit Attention Residuals agit sur le deuxième aspect. Il remplace la connexion résiduelle classique et permettant à chaque couche de récupérer et pondérer de manière sélective les représentations issues de l'ensemble des blocs précédents.

Stable LatentMoE intervient sur le troisième aspect. Comm son nom l'indique, il stabilise l'entraînement à l'échelle des 896 experts de Kimi K3. Son rôle : équilibrer la charge, pour éviter que certains soient sous-utilisés ou surutilisés.

En complément, plutôt que de faire passer la totalité de la dimension cachée à travers chacun des 16 experts que sélectionne chaque token, l'architecture les compresse dans un espace latent de plus faible dimension où les experts effectuent leurs calculs. Les sorties sont ensuite réétendues vers la dimension d'origine. Des microVM pour tenir le million de tokens Le post-entraînement a combiné fine-tuning supervisé, apprentissage par renforcement et distillation.

La fenêtre de contexte a été progressivement étendue, jusqu'au million de tokens. Pour gérer le parallélisme des experts, Moonshot AI a développé sa propre bibliothèque. Elle exploite notamment des formes de calcul statiques.

Elle réserve en l'occurrence à chaque token des tampons mémoire fixes, de sorte que le GPU n'a plus à exécuter des instructions dynamiques de changement de taille. Pour maintenir la trajectoire d'attention dans le cadre des usages agentiques, l'entraînement a mis à contribution des microVM permettant de suspendre les sandbox et de les relancer en quelques dizaines de millisecondes. Moonshot AI y a ajouté un regroupement des opérations élémentaires des blocs KDA dans un unique noyau GPU personnalisé.

L'ensemble de ces techniques lui a permis affirme-t-il, d'atteindre un rendement d'échelle 2,5 fois supérieur à celui de Kimi K2. Kimi K3, sous licence permissive, mais... Kimi K3 est fourni avec de l'outillage d'inférence pour vLLM, SGLang et TokenSpeed.

Il a une licence MIT-like très permissive... sauf pour les grandes entreprises. Celles qui fournissent une offre MaaS (models as a service) doivent négocier un accord commercial avec Moonshot AI dès lors qu'elles ont déjà - filiales comprises - réalisé au moins 20 M$ de CA sur 12 mois glissants. Une autre exigence s'applique.

Elle n'est pas limitée aux fournisseurs MaaS. Elle impose d'afficher clairement « Kimi K3 » sur l'UI de tout produit ou service commercial qui compte plus de 100 millions d'utilisateurs actifs par mois et/ou dégage au moins 20 M$ de chiffre d'affaires mensuel. Meta impose une limite du même genre pour ses modèles Llama à poids ouverts.

Doit prendre une licence commerciale quiconque exploite des produits ou services comptant plus de 700 millions d'utilisateurs actifs par mois. À consulter en complément : Qui est Moonshot AI, l'éditeur des modèles Kimi ?Mistral AI change d'approche pour l'apprentissage par renforcement AMD entre vraiment dans le jeu des racks IA exascale L'IA agentique change les méthodes de travail : Doctolib l'expérimente auprès de ses développeurs Cohere et Aleph Alpha : les noces de l'IA souveraine Illustration principale générée par IA