From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved

Saudações, comunidade do **webmastersmz.com**!

Como especialista em tecnologia, analisei o tópico em inglês com o título **"A tabbed form that silently refused to submit — required fields hidden behind another tab"** (Um formulário em abas que recusava silenciosamente ser submetido — com campos obrigatórios escondidos atrás de outra aba). Este é um problema clássico de experiência do utilizador (UX) e validação de front-end que merece a nossa atenção técnica.

### Comentário Técnico sobre os Pontos Principais:

1. **O Paradoxo da Validação HTML5 e Elementos Ocultos:**
   Modernos navegadores usam validação nativa (`required`). No entanto, quando dividimos um formulário extensivo em abas (tabs) para melhorar a UI, os inputs continuam a existir no DOM, mesmo que a aba esteja oculta via CSS (ex: `display: none` ou `visibility: hidden`). Quando o utilizador tenta submeter, o navegador bloqueia a ação silenciosamente e foca no primeiro elemento inválido... que está numa aba invisível. O utilizador fica perdido, sem entender o porquê de o botão "Enviar" não funcionar.

2. **Falta de Feedback Visual:**
   Um dos maiores pecados de UX neste cenário é a ausência de tratamento de erro a nível de interface. O script de submissão falha, mas nenhuma mensagem orienta o utilizador para a aba correta onde reside o erro.

3. **Como resolver (Boas Práticas de Desenvolvimento):**
   * **Validação por Aba:** Impedir que o utilizador avance de aba se houver campos obrigatórios vazios ou inválidos na aba atual.
   * **Listeners de Erro no JS:** Intercetar o evento `invalid` do formulário via JavaScript para detetar qual o input que falhou, identificar a aba pai desse input e forçar a transição visual para essa aba, focando o campo em falta.
   * **Scroll automático:** Garantir que a página ou o container rola até ao erro caso o layout seja complexo.

Este tipo de detalhe separa um site mediano de uma aplicação web profissional.

Como é que vocês costumam lidar com a validação em formulários multi-etapas ou baseados em abas nos vossos projetos? Já enfrentaram este bug "silencioso" com clientes a reclamar que o site "não funciona"? **Deixem as vossas opiniões e experiências aqui no fórum do webmastersmz.com para enriquecermos este debate!**

---

Para garantir que os vossos projetos, sites e fóruns rodam sem falhas, com estabilidade e velocidade, convido-vos a conhecer as soluções de alojamento de alta performance da AplicHost em [https://aplichost.com](https://aplichost.com).

                     From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved
               



Tópico:
                     From Mixtral to Kimi K3: How Mixture-of-Experts Models Evolved
               
Categoria: Tutoriais | FreeCodeCamp Premium
Idioma Principal: Português (Conteúdo de Tecnologia)

Conteúdo do Tutorial / Guia Passo a Passo:
-------------------------------------------------------------------------
In this article, we'll discuss how Mixture-of-Experts models grew from a handful of experts to nearly 900 per layer, and the compression and stability mechanisms that keep such a sparse design trainable and affordable.

Open-weight Mixture-of-Experts models have expanded at a remarkable pace: Mixtral had about 47 billion total parameters, DeepSeek-V3 reached 671 billion, and Kimi K3 entered the trillions. The surprising part isn't simply how large these models became, but how little of each model processes any one token.

Kimi K3 has 2.8 trillion parameters, but it uses only about 104 billion of them for any single token. In almost every layer, a small router picks 16 of 896 specialized feed-forward networks, called experts, while two shared experts process every token.

This article focuses on that width-side design: how a model can offer a large pool of processing capacity without using all of it for every token. This differs from sequence memory, which concerns how the model stores and retrieves information from earlier tokens.

To see how K3 arrived at this design, we'll follow the evolution of Mixture of Experts (MoE) through four architectures.

Mixtral is a clear open-weight example of the basic pattern: route each token to a few full-size experts. DeepSeekMoE divided that work among finer-grained and shared experts. LatentMoE then compressed the routed path so those experts could work in a smaller space. Finally, K3 adopted it as Stable LatentMoE, adding mechanisms for numerical stability and balanced routing across 896 experts per layer.

Along the way, you'll learn how to interpret an MoE model's expert counts and active-parameter numbers, and what they imply for computation and data movement.

Activating only a small subset of experts is what makes MoE attractive, but it creates new bottlenecks. For example, the selected experts' weights still have to be read from GPU memory, and token representations may have to travel between GPUs. The architectures below are best understood as successive attempts to manage these costs.

Prerequisites

This is a conceptual article, so there's nothing to install or run.

• Helpful: familiarity with neural networks and the general shape of a Transformer layer: attention followed by a feed-forward network.

• Not required: prior knowledge of Kimi K3, Mixture-of-Experts routing, or distributed training. Each is introduced here.

• No code or tools needed.

Table of Contents

• Prerequisites

• 1. From One Dense Layer to a Mixture of Experts

• 2. How MoE Evolved Beyond Mixtral

• 3. LatentMoE: Compress the Expert Path

• 4. How Kimi K3 Makes LatentMoE Stable

• Conclusion: Making Sparse Capacity Usable

• References

1. From One Dense Layer to a Mixture of Experts

A Transformer layer performs two different kinds of work.

Attention lets tokens exchange information: the representation of one token (roughly, a word or piece of one) can incorporate information from other positions in the sequence.

The feed-forward network, or FFN, then transforms each token independently. By the time the token reaches the FFN, the relevant context has already been folded into its current numerical representation.

In a dense Transformer, every token goes through the same FFN. The FFN usually contains several large matrices and accounts for a substantial portion of the model's parameters and computation. Making it wider gives the model mor

... [O tutorial continua no link abaixo] ...