最近在梳理 Kimi K3 的架構資料時有一個詞被反復提及門控Gating。Gated MLA、KDA 的門控分支、MoE 中的 SiTU-GLU、SwiGLU……看起來每個模塊都在做“門控”但每個地方的門控含義又不太一樣。如果只是零散地看很容易把一個概念套到另一個模塊上最后越看越亂。這篇文章就把 LLM 里的門控機制集中梳理一遍結合 Kimi K3 的公開架構討論拆開 Gated MLA、KDA 門控分支以及 MoE 里的 SiTU-GLU 與 SwiGLU。我會盡量不堆術語先講清楚門控本身是什么再逐層進入現代大模型的門控設計并給出可運行的 PyTorch 簡化實現。需要提前說明的是Kimi K3 的官方技術報告尚未完整公開本文的架構解析基于公開模型信息、社區復現討論和技術博客整理代碼示例是教學用簡化版本不完全等價于官方實現。1. 門控機制LLM 架構里的“信息閥門”1.1 從 LSTM 說起門控是什么門控不是新概念。早在 LSTM長短期記憶網絡時代門控就是核心機制。LSTM 里有三個門遺忘門決定上一時刻的記憶要保留多少。輸入門決定當前輸入有多少寫入記憶。輸出門決定當前記憶有多少輸出到隱藏狀態。每個門都輸出一個 0 到 1 之間的數值用 sigmoid 激活函數實現。0 表示“完全關閉”1 表示“完全打開”中間值則表示“部分通過”。用一句話概括門控的本質學習一個軟開關決定信息以什么比例通過。為什么要用“軟”開關因為硬開關if-else不可導梯度無法回傳軟開關用 sigmoid 這類連續函數梯度能順暢流動模型就能通過反向傳播自動學習開關的開合程度。1.2 Transformer 時代的三類門控Transformer 出現后門控并沒有消失而是演化出了更豐富的形態。在當今的大模型架構里門控至少出現在三個層面第一層是注意力內部的門控。標準的縮放點積注意力用 softmax 對 attention score 做歸一化這本身可以理解為一種“競爭式門控”所有位置競爭權重權重和為 1。但這是隱式門控模型不能靈活地表達“某個 token 的 KV 信息整體要減弱”這類需求。第二層是前饋網絡中的門控。從 GLU 到 SwiGLU、SiTU-GLU本質都是用一個非線性變換生成門控信號去調控另一路線性變換的輸出。這是目前大模型最常用的門控形式。第三層是MoE 中的路由門控。MoEMixture of Experts混合專家模型里有一個 router它決定每個 token 被送到哪幾個專家網絡去計算。這層門控做的是“稀疏調度”和注意力門控關注“通道強度”不同路由門控關注“選擇性激活”。理解了這三層門控再看 Kimi K3 的各個模塊就容易對號入座了。1.3 Kimi K3 中的門控體系根據公開資料和社區討論Kimi K3 的架構中門控機制分布得很廣Gated MLA在多頭潛在注意力MLA中引入門控分支對 KV 信息做軟過濾。KDA 的門控分支在鍵解耦注意力Key-Decoupled Attention路徑中用門控融合不同來源的 key 信息。MoE 中的 SiTU-GLU 與 SwiGLU專家網絡內部使用門控激活函數路由門控負責專家選擇。這三個方向剛好對應上面說的三層門控。下面逐個拆開講。2. 環境準備與符號約定2.1 Python 環境與依賴本文的代碼示例全部使用 PyTorch 編寫。如果你的電腦上還沒有環境可以這樣準備conda create -n gating python3.10 conda activate gating pip install torch版本方面以下代碼基于 Python 3.8 與 PyTorch 2.x 編寫不同小版本之間的 API 基本一致。如果你使用 CPU 版本的 PyTorch也能運行本文所有示例因為示例只涉及小規模張量計算。2.2 本文使用的數學符號為了不讓公式讀起來太吃力先約定幾個符號(x)輸入向量或輸入序列shape 為[batch, seq_len, d_model](W)線性投影權重矩陣(\sigma)sigmoid 激活函數(\otimes)逐元素相乘Hadamard product(d_model)隱藏層維度(n_heads)注意力頭數(head_dim)每個注意力頭的維度(latent_dim)MLA 中低秩壓縮后的潛在維度3. 從激活函數到門控前饋SwiGLU 與 SiTU-GLU3.1 為什么 LLM 不再只用 ReLU早期 Transformer 的前饋網絡FFN非常簡單[ FFN(x) \text{ReLU}(xW_1 b_1)W_2 b_2 ]ReLU 把負數直接置 0正數原樣通過。這個“硬門控”簡單高效但有兩個問題負數區間梯度為 0容易造成神經元死亡。輸出均值不為 0不利于深層網絡的訓練穩定性。后來研究者發現用平滑激活函數替代 ReLU 能提升訓練穩定性和模型質量。于是有了 GELU、Swish / SiLU 等替代方案。但真正帶來質變的是把激活函數放進一個“門控結構”里也就是 GLU 系列。3.2 GLU 與 SwiGLU 的原理GLUGated Linear Unit門控線性單元最早由 Dauphin 等人提出它的形式是[ GLU(x) (xW_1 b_1) \otimes \sigma(xW_2 b_2) ]這里有兩路線性變換一路直接輸出叫做“值分支”。另一路經過 sigmoid輸出 0 到 1 的門控信號。兩個結果逐元素相乘。模型通過訓練可以決定每個維度上信息通過的比例。SwiGLU 是 LLaMA 等大模型使用的變體核心改動是把 sigmoid 換成 SwishSiLU門控。[ SwiGLU(x) (xW_1) \otimes \text{SiLU}(xW_2) ]其中[ \text{SiLU}(x) x \cdot \sigma(x) ]SiLU 的形狀比 sigmoid 更豐富當輸入為負且絕對值較大時SiLU 輸出會先輕微下降再趨近 0這種非單調性給門控帶來了更強的表達能力。3.3 SiTU-GLU門控激活的另一種形態SiTU-GLU 是 Kimi K3 相關討論中頻繁出現的一個詞。SiTU 通常被理解為 Sigmoid-Tanh Unit 的縮寫。雖然官方準確公式還沒有完整公開但社區討論中較多提到的一種形式是[ SiTU(x) x \cdot \left( \frac{\sigma(x) \tanh(x)}{2} \right) ]也就是說把 sigmoid 和 tanh 兩種門控曲線做平均再與輸入相乘。sigmoid 的取值范圍是 0 到 1tanh 的取值范圍是 -1 到 1兩者結合后門控信號不再局限于 0~1而是可以輸出負值相當于“允許信息反向調制”。把 SiTU 放進 GLU 結構就得到 SiTU-GLU[ SiTU_GLU(x) (xW_1) \otimes SiTU(xW_2) ]注意這個推導是社區討論形式不等同于官方實現。對于學習來說重要的不是記住某個公式而是理解 SiTU-GLU 屬于“門控激活 線性變換”的家族。3.4 代碼實現PyTorch 版 SwiGLU / SiTU-GLU下面用 PyTorch 實現 SwiGLU 和 SiTU-GLU。import torch import torch.nn as nn import torch.nn.functional as F class SwiGLU(nn.Module): SwiGLU 門控前饋層 輸入 x 會經過兩條分支 - 分支1線性變換 w - 值分支 - 分支2線性變換 v SiLU - 門控分支 最后逐元素相乘。 def __init__(self, dim_in, dim_out, biasFalse): super().__init__() self.w nn.Linear(dim_in, dim_out, biasbias) self.v nn.Linear(dim_in, dim_out, biasbias) def forward(self, x): return self.w(x) * F.silu(self.v(x)) class SiTUGLU(nn.Module): SiTU-GLU 教學簡化版 門控分支使用 (sigmoid tanh) / 2 作為門控信號。 這里只是社區討論形式的示例實際參數以官方為準。 def __init__(self, dim_in, dim_out, biasFalse): super().__init__() self.w nn.Linear(dim_in, dim_out, biasbias) self.v nn.Linear(dim_in, dim_out, biasbias) def forward(self, x): gate_input self.v(x) gate (torch.sigmoid(gate_input) torch.tanh(gate_input)) / 2.0 return self.w(x) * gate # 測試示例 if __name__ __main__: torch.manual_seed(42) x torch.randn(4, 16, 128) # [batch, seq_len, d_model] swiglu SwiGLU(128, 256) situ_glu SiTUGLU(128, 256) out1 swiglu(x) out2 situ_glu(x) print(SwiGLU output:, out1.shape) # torch.Size([4, 16, 256]) print(SiTU-GLU output:, out2.shape) # torch.Size([4, 16, 256])這段代碼里最關鍵的一行是return self.w(x) * F.silu(self.v(x))它體現了 SwiGLU 的靈魂一個分支負責內容變換另一個分支負責生成門控權重。4. Gated MLA門控多頭潛在注意力拆解4.1 先回顧 MLA 要解決的問題要理解 Gated MLA得先理解 MLAMulti-head Latent Attention多頭潛在注意力。MLA 最初由 DeepSeek-V2 引入核心動機是降低 KV cache 的顯存占用。在標準 MHAMulti-Head Attention中每個注意力頭都要緩存一份完整的 K 和 V推理時長序列時顯存開銷非常大。MLA 的思路是先用一個低秩壓縮矩陣 (W_{DKV}) 把隱藏狀態壓縮成維度很小的 latent 向量。在注意力計算時再把這個 latent 向量解壓回完整的 K、V 矩陣。這樣一來推理時只需要緩存低維的 latent 向量KV cache 的大小大幅降低。但這里有一個問題RoPE 位置編碼需要在 K 上疊加位置信息而低秩壓縮后的 latent 空間不方便直接做這個操作。DeepSeek-V2 的解法是“解耦 RoPE”把一部分維度拿出來單獨做位置編碼另一部分維度保持原本的低秩壓縮邏輯。4.2 Gate 加在哪里Gated MLA 可以理解成“在 MLA 的 latent 空間里插入一個門控分支”。Kimi K3 的公開討論中Gated MLA 的門控分支通常被認為放在低秩壓縮之后、解壓之前或解壓過程中它的作用是對 latent 向量的每個維度生成一個 0 到 1 之間的權重。用這個權重去調制 K、V 的信息強弱。為什么要這么做因為在標準注意力中所有 token 的 KV 信息都會被同等對待但真實場景并非如此。有些 token 的信息對當前 query 是冗余的甚至是有干擾的有些 token 的 KV 信息則需要被放大。門控分支讓模型學會“按需放行”。這比直接用 attention score 調節更精細。attention score 調節的是“query 對 key 的匹配程度”而 Gated MLA 調節的是“key/value 本身要保留多少信息”。4.3 可運行的 SimplifiedGatedMLA 示例下面實現一個教學用的 Gated MLA 簡化版本不包含完整的 RoPE 處理但保留低秩壓縮和門控分支兩個核心思想。import math import torch import torch.nn as nn import torch.nn.functional as F class SimplifiedGatedMLA(nn.Module): 簡化版 Gated MLA 流程 1. 將輸入 x 壓縮為低維 latent 2. 從 latent 解壓出 K、V 3. 根據 latent 生成門控權重調制 K、V 4. 與 Q 做標準縮放點積注意力。 def __init__(self, d_model, n_heads, latent_dim, head_dim): super().__init__() assert d_model n_heads * head_dim, d_model 需等于 n_heads * head_dim self.n_heads n_heads self.head_dim head_dim self.latent_dim latent_dim # 壓縮隱藏狀態 - 低維 latent self.w_dkv nn.Linear(d_model, latent_dim, biasFalse) # 解壓latent - K、V self.w_uk nn.Linear(latent_dim, n_heads * head_dim, biasFalse) self.w_uv nn.Linear(latent_dim, n_heads * head_dim, biasFalse) # Q 直接投影 self.w_q nn.Linear(d_model, n_heads * head_dim, biasFalse) # 門控分支從 latent 生成門控信號 self.gate_proj nn.Linear(latent_dim, n_heads * head_dim, biasFalse) # 輸出投影 self.w_o nn.Linear(n_heads * head_dim, d_model, biasFalse) def forward(self, x): B, T, D x.shape # 1. 低秩壓縮 latent self.w_dkv(x) # [B, T, latent_dim] # 2. 解壓得到 K、V k self.w_uk(latent) # [B, T, n_heads * head_dim] v self.w_uv(latent) # [B, T, n_heads * head_dim] # 3. 門控調制 gate torch.sigmoid(self.gate_proj(latent)) # [B, T, n_heads * head_dim] k k * gate v v * gate # 4. Query 投影 q self.w_q(x) # [B, T, n_heads * head_dim] # 5. 多頭拆分 def reshape_to_heads(t): return t.view(B, T, self.n_heads, self.head_dim).transpose(1, 2) q reshape_to_heads(q) # [B, n_heads, T, head_dim] k reshape_to_heads(k) v reshape_to_heads(v) # 6. 縮放點積注意力 attn_scores (q k.transpose(-2, -1)) / math.sqrt(self.head_dim) attn_weights F.softmax(attn_scores, dim-1) out attn_weights v # [B, n_heads, T, head_dim] # 7. 合并多頭并輸出 out out.transpose(1, 2).reshape(B, T, -1) return self.w_o(out) # 運行測試 if __name__ __main__: torch.manual_seed(0) model SimplifiedGatedMLA( d_model128, n_heads4, latent_dim64, head_dim32 ) x torch.randn(2, 10, 128) # [batch2, seq_len10, d_model128] y model(x) print(Gated MLA output:, y.shape) # torch.Size([2, 10, 128])這個簡化實現有幾個可以繼續深挖的點實際 MLA 中解壓后的 K、V 會先拆分出“內容部分”和“RoPE 部分”分別處理再拼接。門控分支可以加在 latent 上也可以加在解壓后的 K、V 上。不同位置效果不同。真實實現里 (Q) 也會做低秩投影這里為了可讀性直接使用完整 Q 投影。4.4 門控分支對推理成本的影響Gated MLA 的工程價值在于門控分支在 latent 空間計算維度通常遠小于完整的 K/V 維度。以latent_dim64、n_heads * head_dim128為例門控分支需要的計算量大約是 K/V 解壓后做門控的 1/2。在大模型推理場景下這部分額外計算成本是可以接受的因為節省的 KV cache 顯存遠大于新增門控的算力開銷。5. KDA 的門控分支注意力路徑的信息分流5.1 KDA 的基本思路KDA 通常被理解為 Key-Decoupled Attention鍵解耦注意力。社區中關于 Kimi K3 KDA 的討論重點在于“把 key 路徑拆成多個分支”。標準注意力中每個 token 只有一個 key 向量它同時承擔內容語義匹配和位置關系匹配兩個職責。這實際上是一個隱式的多任務耦合content matching 和 position matching 共享同一個向量模型很難獨立調節兩者的權重。KDA 的思路是把 key 拆開內容分支負責 token 本身的語義相關性。位置分支負責 token 之間的相對位置關系。門控分支學習一個權重決定最終 attention score 在多大程度上依賴內容分支、多大程度上依賴位置分支。5.2 門控分支如何參與融合假設我們有(q)query 向量(k_{content})內容分支的 key(k_{position})位置分支的 key傳統做法可能是直接拼接或者相加[ score q \cdot (k_{content} k_{position}) ]KDA 門控分支的做法是學習一個門控參數 (g)讓模型自動決定兩種信息的占比[ score g \cdot (q \cdot k_{content}) (1 - g) \cdot (q \cdot k_{position}) ]當 (g) 接近 1 時注意力主要由內容語義驅動當 (g) 接近 0 時注意力主要由位置關系驅動。這種門控的優勢是讓模型在不同層、不同注意力頭之間形成分工。有的頭可能更偏向內容匹配有的頭更偏向位置匹配門控機制讓這種分工變得顯式可學。5.3 偽代碼與實現思路下面給出一個教學級別的偽代碼展示 KDA 門控分支的數據流def kda_attention(q, k_content, k_position, v, gate_logits): 教學簡化版 KDA 門控分支 gate_logits: [B, n_heads, T, 1] 或 [B, n_heads, T, T] 這里簡化為每個 token 一個門控權重。 score_content q k_content.transpose(-2, -1) score_position q k_position.transpose(-2, -1) # 門控權重在 0~1 之間 gate torch.sigmoid(gate_logits) # 信息融合 total_score gate * score_content (1 - gate) * score_position attn_weight F.softmax(total_score, dim-1) out attn_weight v return out, gate實際實現中gate_logits可以由 query 生成也可以由 query 和 key 的交互生成。前者計算量更小后者表達能力更強具體怎么選是一個效率和效果的權衡。6. MoE 里的門控路由與專家內部門控6.1 MoE 路由門控的本質MoEMixture of Experts混合專家是當前超大模型的主流架構。一個 MoE 層通常包含一個路由網絡router。若干專家網絡experts。路由網絡本質上就是一個門控分類器輸入 token 的表示輸出每個專家的選擇概率。通常的做法是用線性層把 token 映射到專家數量維度的 logits。softmax 得到概率分布。top-k 選出得分最高的 k 個專家。對選中的概率做歸一化作為加權系數。路由門控的數學形式如下[ p_i \frac{\exp((x \cdot W_r)i)}{\sum{j1}^{N}\exp((x \cdot W_r)_j)} ]然后取 top-k得到最終組合權重。6.2 路由門控的負載均衡挑戰路由門控最經典的問題是負載不均衡如果某個專家總被選中其他專家幾乎不被使用整個 MoE 層就退化成單專家模型稀疏性的收益全部消失。解決辦法是加輔助均衡損失。常見的做法是計算每個專家的平均路由概率。計算每個專家的平均被選中次數。讓兩個分布盡量接近。公式可以表達為[ L_{balance} \alpha \cdot N \cdot \sum_{i1}^{N} f_i \cdot p_i ]其中 (f_i) 是第 (i) 個專家被選中的頻率(p_i) 是路由平均概率(N) 是專家數量(\alpha) 是平衡系數。6.3 專家內部門控SiTU-GLU 與 SwiGLU 的定位MoE 里的門控其實存在兩層第一層是路由門控決定“選擇誰”。第二層是專家內部的前饋門控決定“信息怎么變換”。SwiGLU 和 SiTU-GLU 屬于第二層。專家網絡本質上是一個 FFN而 FFN 的內部結構正好可以用 GLU 系列激活函數來強化。所以一個典型的 MoE 專家可以寫成Expert(x) OutputProj( GateActivation(InputProj(x)) * ValueProj(x) )其中GateActivation可以是 SiLU對應 SwiGLU或 SiTU對應 SiTU-GLU。6.4 完整示例Top-K Router SwiGLU 專家下面把路由門控和 SwiGLU 專家組合成一個可運行的簡化 MoE 層。import torch import torch.nn as nn import torch.nn.functional as F class TopKRouter(nn.Module): 簡化版 Top-K 路由器 輸入: [B, T, d_model] 輸出: top_idx: [B, T, top_k] 每個 token 選中的專家編號 top_probs: [B, T, top_k] 歸一化后的路由權重 def __init__(self, d_model, n_experts, top_k2): super().__init__() self.top_k top_k self.router nn.Linear(d_model, n_experts, biasFalse) def forward(self, x): logits self.router(x) # [B, T, n_experts] probs F.softmax(logits, dim-1) top_probs, top_idx torch.topk(probs, self.top_k, dim-1) # 對選中的概率重新歸一化 top_probs top_probs / top_probs.sum(dim-1, keepdimTrue) return top_idx, top_probs class SimpleMoE(nn.Module): 簡化版 MoE Layer 每個專家內部使用 SwiGLU 風格的前饋網絡。 def __init__(self, d_model, n_experts, top_k, hidden_dim): super().__init__() self.top_k top_k self.router nn.Linear(d_model, n_experts, biasFalse) # 每個專家: 兩個線性層 SiLU 門控 self.experts nn.ModuleList([ nn.Sequential( SwiGLU(d_model, hidden_dim), nn.Linear(hidden_dim, d_model) ) for _ in range(n_experts) ]) def forward(self, x): B, T, D x.shape x_flat x.reshape(-1, D) # [B*T, D] # 路由 logits self.router(x_flat) # [B*T, n_experts] probs F.softmax(logits, dim-1) top_probs, top_idx torch.topk(probs, self.top_k, dim-1) top_probs top_probs / top_probs.sum(dim-1, keepdimTrue) out torch.zeros_like(x_flat) # 逐專家計算貢獻 for e, expert in enumerate(self.experts): # 哪些 token 選中了專家 e mask (top_idx e).any(dim-1) if not mask.any(): continue expert_out expert(x_flat[mask]) # 提取每個 token 對專家 e 的權重 e_probs torch.where( top_idx[mask] e, top_probs[mask], torch.zeros_like(top_probs[mask]) ) weight e_probs.sum(dim-1, keepdimTrue) # [n_selected, 1] out[mask] expert_out * weight return out.view(B, T, D) # 測試 if __name__ __main__: torch.manual_seed(42) moe SimpleMoE( d_model128, n_experts8, top_k2, hidden_dim256 ) x torch.randn(2, 10, 128) y moe(x) print(MoE output:, y.shape) # torch.Size([2, 10, 128])如果你希望訓練更穩定可以把top_k換成可學習的 soft 門控權重但在稠密場景下 Top-K 的效果已經足夠好。7. 常見誤區與排查清單門控相關概念多且相似下面整理幾個高頻誤區和排查思路。問題現象常見原因解決思路把 Gated MLA 理解成 MHA 后面加個 sigmoidMLA 的核心是低秩 KV 壓縮門控是在 latent 空間調制 K/V先理解 MLA 的壓縮-解壓過程再看門控插入位置認為 KDA 就是 GQAGQA 減少 KV 頭數量KDA 是把 key 路徑拆成多分支并用門控融合畫出 key 分支結構對比把 SwiGLU 和 SiLU 當成同一個東西SwiGLU 是門控線性單元SiLU 是激活函數二者不是同一層面SwiGLU 值分支 x SiLU(門控分支)訓練 MoE 時某個專家始終不被選中路由初始化不當或缺乏負載均衡損失調整 router 初始化加入 balance loss門控輸出經常飽和梯度消失sigmoid 輸入絕對值過大檢查 gate_proj 的初始化或使用帶下界的門控變體推理時門控分支拖慢速度門控在完整 K/V 維度計算把門控放在 latent 維度或與 KV 解壓算子融合8. 工程實踐建議與學習路線8.1 架構設計建議在實際設計或復現帶門控的 LLM 模塊時有幾點值得留意。首先門控分支的位置直接影響信息選擇效果。Gated MLA 中門控放在 latent 空間更高效但表達力可能不如放在解壓后的 K/V 空間如果顯存允許可以選擇在兩組位置同時加門控再用殘差連接做兜底。其次初始化很重要。sigmoid 在輸入為 0 時輸出 0.5如果門控權重初始化過大信號會接近飽和梯度難以流動。實踐中可以讓gate_proj的輸出初始偏向 0 附近甚至給 bias 設置一個負初始值讓門控初始偏向“關閉”以穩定早期訓練。8.2 訓練與推理注意事項訓練階段要關注門控是否存在“退化成常數”的問題。如果訓練后期門控輸出始終固定在某個值附近說明門控沒有學到有效的信息選擇邏輯可以檢查一下梯度或嘗試給門控分支添加正則。推理階段Gated MLA 和 KDA 門控分支的額外算子會帶來 kernel launch 開銷。真實部署時建議把gate_proj、w_uk、w_uv等線性層合并成一個大矩陣乘法減少訪存和 kernel 啟停次數。對 MoE 來說路由門控的數值精度要留心。在低精度推理時router logits 的微小波動可能導致 top-k 選擇結果變化進而影響生成穩定性。必要時用更高精度計算 router logits或者對 router logits 做縮放防止 softmax 后概率過于集中。8.3 學習路線如果你想系統掌握門控機制可以按這個順序走從激活函數入手實現并對比 ReLU、GELU、SiLU、Mish。實現 GLU 和 SwiGLU觀察門控分支對梯度流動的影響。實現標準 MHA再實現 DeepSeek-V2 的 MLA最后加上門控分支。閱讀 LLaMA 系列和 Mistral 的代碼看 SwiGLU 在實際模型中如何落地。嘗試實現一個包含 router 和專家網絡的 MoE 層加入負載均衡 loss。回到 Kimi K3 的公開架構資料對照本文的模塊圖逐層印證。如果條件允許可以下載一個中等規模的開源 MoE 模型用推理框架觀察不同專家被激活的頻率配合日志分析路由門控的行為。這會比單純看論文更有體感。門控機制是理解現代大模型的一條重要線索。從 LSTM 的遺忘門到 SwiGLU 的門控前饋再到 Gated MLA 和 MoE 路由本質上都在做同一件事讓模型自己學會信息該如何選擇、何時放行、以什么比例放行。建議你打開編輯器把文中的 SimplifiedGatedMLA 和 SimpleMoE 各跑一遍然后試著調整門控位置、初始化和 top-k 大小直觀感受這些改動對訓練和輸出的影響。動手跑通之后再回去看 Kimi K3 的架構分析會順手很多。 大模型門控機制全解析：從SwiGLU到Gated MLA與MoE路由
最近在梳理 Kimi K3 的架構資料時有一個詞被反復提及門控Gating。Gated MLA、KDA 的門控分支、MoE 中的 SiTU-GLU、SwiGLU……看起來每個模塊都在做“門控”但每個地方的門控含義又不太一樣。如果只是零散地看很容易把一個概念套到另一個模塊上最后越看越亂。這篇文章就把 LLM 里的門控機制集中梳理一遍結合 Kimi K3 的公開架構討論拆開 Gated MLA、KDA 門控分支以及 MoE 里的 SiTU-GLU 與 SwiGLU。我會盡量不堆術語先講清楚門控本身是什么再逐層進入現代大模型的門控設計并給出可運行的 PyTorch 簡化實現。需要提前說明的是Kimi K3 的官方技術報告尚未完整公開本文的架構解析基于公開模型信息、社區復現討論和技術博客整理代碼示例是教學用簡化版本不完全等價于官方實現。1. 門控機制LLM 架構里的“信息閥門”1.1 從 LSTM 說起門控是什么門控不是新概念。早在 LSTM長短期記憶網絡時代門控就是核心機制。LSTM 里有三個門遺忘門決定上一時刻的記憶要保留多少。輸入門決定當前輸入有多少寫入記憶。輸出門決定當前記憶有多少輸出到隱藏狀態。每個門都輸出一個 0 到 1 之間的數值用 sigmoid 激活函數實現。0 表示“完全關閉”1 表示“完全打開”中間值則表示“部分通過”。用一句話概括門控的本質學習一個軟開關決定信息以什么比例通過。為什么要用“軟”開關因為硬開關if-else不可導梯度無法回傳軟開關用 sigmoid 這類連續函數梯度能順暢流動模型就能通過反向傳播自動學習開關的開合程度。1.2 Transformer 時代的三類門控Transformer 出現后門控并沒有消失而是演化出了更豐富的形態。在當今的大模型架構里門控至少出現在三個層面第一層是注意力內部的門控。標準的縮放點積注意力用 softmax 對 attention score 做歸一化這本身可以理解為一種“競爭式門控”所有位置競爭權重權重和為 1。但這是隱式門控模型不能靈活地表達“某個 token 的 KV 信息整體要減弱”這類需求。第二層是前饋網絡中的門控。從 GLU 到 SwiGLU、SiTU-GLU本質都是用一個非線性變換生成門控信號去調控另一路線性變換的輸出。這是目前大模型最常用的門控形式。第三層是MoE 中的路由門控。MoEMixture of Experts混合專家模型里有一個 router它決定每個 token 被送到哪幾個專家網絡去計算。這層門控做的是“稀疏調度”和注意力門控關注“通道強度”不同路由門控關注“選擇性激活”。理解了這三層門控再看 Kimi K3 的各個模塊就容易對號入座了。1.3 Kimi K3 中的門控體系根據公開資料和社區討論Kimi K3 的架構中門控機制分布得很廣Gated MLA在多頭潛在注意力MLA中引入門控分支對 KV 信息做軟過濾。KDA 的門控分支在鍵解耦注意力Key-Decoupled Attention路徑中用門控融合不同來源的 key 信息。MoE 中的 SiTU-GLU 與 SwiGLU專家網絡內部使用門控激活函數路由門控負責專家選擇。這三個方向剛好對應上面說的三層門控。下面逐個拆開講。2. 環境準備與符號約定2.1 Python 環境與依賴本文的代碼示例全部使用 PyTorch 編寫。如果你的電腦上還沒有環境可以這樣準備conda create -n gating python3.10 conda activate gating pip install torch版本方面以下代碼基于 Python 3.8 與 PyTorch 2.x 編寫不同小版本之間的 API 基本一致。如果你使用 CPU 版本的 PyTorch也能運行本文所有示例因為示例只涉及小規模張量計算。2.2 本文使用的數學符號為了不讓公式讀起來太吃力先約定幾個符號(x)輸入向量或輸入序列shape 為[batch, seq_len, d_model](W)線性投影權重矩陣(\sigma)sigmoid 激活函數(\otimes)逐元素相乘Hadamard product(d_model)隱藏層維度(n_heads)注意力頭數(head_dim)每個注意力頭的維度(latent_dim)MLA 中低秩壓縮后的潛在維度3. 從激活函數到門控前饋SwiGLU 與 SiTU-GLU3.1 為什么 LLM 不再只用 ReLU早期 Transformer 的前饋網絡FFN非常簡單[ FFN(x) \text{ReLU}(xW_1 b_1)W_2 b_2 ]ReLU 把負數直接置 0正數原樣通過。這個“硬門控”簡單高效但有兩個問題負數區間梯度為 0容易造成神經元死亡。輸出均值不為 0不利于深層網絡的訓練穩定性。后來研究者發現用平滑激活函數替代 ReLU 能提升訓練穩定性和模型質量。于是有了 GELU、Swish / SiLU 等替代方案。但真正帶來質變的是把激活函數放進一個“門控結構”里也就是 GLU 系列。3.2 GLU 與 SwiGLU 的原理GLUGated Linear Unit門控線性單元最早由 Dauphin 等人提出它的形式是[ GLU(x) (xW_1 b_1) \otimes \sigma(xW_2 b_2) ]這里有兩路線性變換一路直接輸出叫做“值分支”。另一路經過 sigmoid輸出 0 到 1 的門控信號。兩個結果逐元素相乘。模型通過訓練可以決定每個維度上信息通過的比例。SwiGLU 是 LLaMA 等大模型使用的變體核心改動是把 sigmoid 換成 SwishSiLU門控。[ SwiGLU(x) (xW_1) \otimes \text{SiLU}(xW_2) ]其中[ \text{SiLU}(x) x \cdot \sigma(x) ]SiLU 的形狀比 sigmoid 更豐富當輸入為負且絕對值較大時SiLU 輸出會先輕微下降再趨近 0這種非單調性給門控帶來了更強的表達能力。3.3 SiTU-GLU門控激活的另一種形態SiTU-GLU 是 Kimi K3 相關討論中頻繁出現的一個詞。SiTU 通常被理解為 Sigmoid-Tanh Unit 的縮寫。雖然官方準確公式還沒有完整公開但社區討論中較多提到的一種形式是[ SiTU(x) x \cdot \left( \frac{\sigma(x) \tanh(x)}{2} \right) ]也就是說把 sigmoid 和 tanh 兩種門控曲線做平均再與輸入相乘。sigmoid 的取值范圍是 0 到 1tanh 的取值范圍是 -1 到 1兩者結合后門控信號不再局限于 0~1而是可以輸出負值相當于“允許信息反向調制”。把 SiTU 放進 GLU 結構就得到 SiTU-GLU[ SiTU_GLU(x) (xW_1) \otimes SiTU(xW_2) ]注意這個推導是社區討論形式不等同于官方實現。對于學習來說重要的不是記住某個公式而是理解 SiTU-GLU 屬于“門控激活 線性變換”的家族。3.4 代碼實現PyTorch 版 SwiGLU / SiTU-GLU下面用 PyTorch 實現 SwiGLU 和 SiTU-GLU。import torch import torch.nn as nn import torch.nn.functional as F class SwiGLU(nn.Module): SwiGLU 門控前饋層 輸入 x 會經過兩條分支 - 分支1線性變換 w - 值分支 - 分支2線性變換 v SiLU - 門控分支 最后逐元素相乘。 def __init__(self, dim_in, dim_out, biasFalse): super().__init__() self.w nn.Linear(dim_in, dim_out, biasbias) self.v nn.Linear(dim_in, dim_out, biasbias) def forward(self, x): return self.w(x) * F.silu(self.v(x)) class SiTUGLU(nn.Module): SiTU-GLU 教學簡化版 門控分支使用 (sigmoid tanh) / 2 作為門控信號。 這里只是社區討論形式的示例實際參數以官方為準。 def __init__(self, dim_in, dim_out, biasFalse): super().__init__() self.w nn.Linear(dim_in, dim_out, biasbias) self.v nn.Linear(dim_in, dim_out, biasbias) def forward(self, x): gate_input self.v(x) gate (torch.sigmoid(gate_input) torch.tanh(gate_input)) / 2.0 return self.w(x) * gate # 測試示例 if __name__ __main__: torch.manual_seed(42) x torch.randn(4, 16, 128) # [batch, seq_len, d_model] swiglu SwiGLU(128, 256) situ_glu SiTUGLU(128, 256) out1 swiglu(x) out2 situ_glu(x) print(SwiGLU output:, out1.shape) # torch.Size([4, 16, 256]) print(SiTU-GLU output:, out2.shape) # torch.Size([4, 16, 256])這段代碼里最關鍵的一行是return self.w(x) * F.silu(self.v(x))它體現了 SwiGLU 的靈魂一個分支負責內容變換另一個分支負責生成門控權重。4. Gated MLA門控多頭潛在注意力拆解4.1 先回顧 MLA 要解決的問題要理解 Gated MLA得先理解 MLAMulti-head Latent Attention多頭潛在注意力。MLA 最初由 DeepSeek-V2 引入核心動機是降低 KV cache 的顯存占用。在標準 MHAMulti-Head Attention中每個注意力頭都要緩存一份完整的 K 和 V推理時長序列時顯存開銷非常大。MLA 的思路是先用一個低秩壓縮矩陣 (W_{DKV}) 把隱藏狀態壓縮成維度很小的 latent 向量。在注意力計算時再把這個 latent 向量解壓回完整的 K、V 矩陣。這樣一來推理時只需要緩存低維的 latent 向量KV cache 的大小大幅降低。但這里有一個問題RoPE 位置編碼需要在 K 上疊加位置信息而低秩壓縮后的 latent 空間不方便直接做這個操作。DeepSeek-V2 的解法是“解耦 RoPE”把一部分維度拿出來單獨做位置編碼另一部分維度保持原本的低秩壓縮邏輯。4.2 Gate 加在哪里Gated MLA 可以理解成“在 MLA 的 latent 空間里插入一個門控分支”。Kimi K3 的公開討論中Gated MLA 的門控分支通常被認為放在低秩壓縮之后、解壓之前或解壓過程中它的作用是對 latent 向量的每個維度生成一個 0 到 1 之間的權重。用這個權重去調制 K、V 的信息強弱。為什么要這么做因為在標準注意力中所有 token 的 KV 信息都會被同等對待但真實場景并非如此。有些 token 的信息對當前 query 是冗余的甚至是有干擾的有些 token 的 KV 信息則需要被放大。門控分支讓模型學會“按需放行”。這比直接用 attention score 調節更精細。attention score 調節的是“query 對 key 的匹配程度”而 Gated MLA 調節的是“key/value 本身要保留多少信息”。4.3 可運行的 SimplifiedGatedMLA 示例下面實現一個教學用的 Gated MLA 簡化版本不包含完整的 RoPE 處理但保留低秩壓縮和門控分支兩個核心思想。import math import torch import torch.nn as nn import torch.nn.functional as F class SimplifiedGatedMLA(nn.Module): 簡化版 Gated MLA 流程 1. 將輸入 x 壓縮為低維 latent 2. 從 latent 解壓出 K、V 3. 根據 latent 生成門控權重調制 K、V 4. 與 Q 做標準縮放點積注意力。 def __init__(self, d_model, n_heads, latent_dim, head_dim): super().__init__() assert d_model n_heads * head_dim, d_model 需等于 n_heads * head_dim self.n_heads n_heads self.head_dim head_dim self.latent_dim latent_dim # 壓縮隱藏狀態 - 低維 latent self.w_dkv nn.Linear(d_model, latent_dim, biasFalse) # 解壓latent - K、V self.w_uk nn.Linear(latent_dim, n_heads * head_dim, biasFalse) self.w_uv nn.Linear(latent_dim, n_heads * head_dim, biasFalse) # Q 直接投影 self.w_q nn.Linear(d_model, n_heads * head_dim, biasFalse) # 門控分支從 latent 生成門控信號 self.gate_proj nn.Linear(latent_dim, n_heads * head_dim, biasFalse) # 輸出投影 self.w_o nn.Linear(n_heads * head_dim, d_model, biasFalse) def forward(self, x): B, T, D x.shape # 1. 低秩壓縮 latent self.w_dkv(x) # [B, T, latent_dim] # 2. 解壓得到 K、V k self.w_uk(latent) # [B, T, n_heads * head_dim] v self.w_uv(latent) # [B, T, n_heads * head_dim] # 3. 門控調制 gate torch.sigmoid(self.gate_proj(latent)) # [B, T, n_heads * head_dim] k k * gate v v * gate # 4. Query 投影 q self.w_q(x) # [B, T, n_heads * head_dim] # 5. 多頭拆分 def reshape_to_heads(t): return t.view(B, T, self.n_heads, self.head_dim).transpose(1, 2) q reshape_to_heads(q) # [B, n_heads, T, head_dim] k reshape_to_heads(k) v reshape_to_heads(v) # 6. 縮放點積注意力 attn_scores (q k.transpose(-2, -1)) / math.sqrt(self.head_dim) attn_weights F.softmax(attn_scores, dim-1) out attn_weights v # [B, n_heads, T, head_dim] # 7. 合并多頭并輸出 out out.transpose(1, 2).reshape(B, T, -1) return self.w_o(out) # 運行測試 if __name__ __main__: torch.manual_seed(0) model SimplifiedGatedMLA( d_model128, n_heads4, latent_dim64, head_dim32 ) x torch.randn(2, 10, 128) # [batch2, seq_len10, d_model128] y model(x) print(Gated MLA output:, y.shape) # torch.Size([2, 10, 128])這個簡化實現有幾個可以繼續深挖的點實際 MLA 中解壓后的 K、V 會先拆分出“內容部分”和“RoPE 部分”分別處理再拼接。門控分支可以加在 latent 上也可以加在解壓后的 K、V 上。不同位置效果不同。真實實現里 (Q) 也會做低秩投影這里為了可讀性直接使用完整 Q 投影。4.4 門控分支對推理成本的影響Gated MLA 的工程價值在于門控分支在 latent 空間計算維度通常遠小于完整的 K/V 維度。以latent_dim64、n_heads * head_dim128為例門控分支需要的計算量大約是 K/V 解壓后做門控的 1/2。在大模型推理場景下這部分額外計算成本是可以接受的因為節省的 KV cache 顯存遠大于新增門控的算力開銷。5. KDA 的門控分支注意力路徑的信息分流5.1 KDA 的基本思路KDA 通常被理解為 Key-Decoupled Attention鍵解耦注意力。社區中關于 Kimi K3 KDA 的討論重點在于“把 key 路徑拆成多個分支”。標準注意力中每個 token 只有一個 key 向量它同時承擔內容語義匹配和位置關系匹配兩個職責。這實際上是一個隱式的多任務耦合content matching 和 position matching 共享同一個向量模型很難獨立調節兩者的權重。KDA 的思路是把 key 拆開內容分支負責 token 本身的語義相關性。位置分支負責 token 之間的相對位置關系。門控分支學習一個權重決定最終 attention score 在多大程度上依賴內容分支、多大程度上依賴位置分支。5.2 門控分支如何參與融合假設我們有(q)query 向量(k_{content})內容分支的 key(k_{position})位置分支的 key傳統做法可能是直接拼接或者相加[ score q \cdot (k_{content} k_{position}) ]KDA 門控分支的做法是學習一個門控參數 (g)讓模型自動決定兩種信息的占比[ score g \cdot (q \cdot k_{content}) (1 - g) \cdot (q \cdot k_{position}) ]當 (g) 接近 1 時注意力主要由內容語義驅動當 (g) 接近 0 時注意力主要由位置關系驅動。這種門控的優勢是讓模型在不同層、不同注意力頭之間形成分工。有的頭可能更偏向內容匹配有的頭更偏向位置匹配門控機制讓這種分工變得顯式可學。5.3 偽代碼與實現思路下面給出一個教學級別的偽代碼展示 KDA 門控分支的數據流def kda_attention(q, k_content, k_position, v, gate_logits): 教學簡化版 KDA 門控分支 gate_logits: [B, n_heads, T, 1] 或 [B, n_heads, T, T] 這里簡化為每個 token 一個門控權重。 score_content q k_content.transpose(-2, -1) score_position q k_position.transpose(-2, -1) # 門控權重在 0~1 之間 gate torch.sigmoid(gate_logits) # 信息融合 total_score gate * score_content (1 - gate) * score_position attn_weight F.softmax(total_score, dim-1) out attn_weight v return out, gate實際實現中gate_logits可以由 query 生成也可以由 query 和 key 的交互生成。前者計算量更小后者表達能力更強具體怎么選是一個效率和效果的權衡。6. MoE 里的門控路由與專家內部門控6.1 MoE 路由門控的本質MoEMixture of Experts混合專家是當前超大模型的主流架構。一個 MoE 層通常包含一個路由網絡router。若干專家網絡experts。路由網絡本質上就是一個門控分類器輸入 token 的表示輸出每個專家的選擇概率。通常的做法是用線性層把 token 映射到專家數量維度的 logits。softmax 得到概率分布。top-k 選出得分最高的 k 個專家。對選中的概率做歸一化作為加權系數。路由門控的數學形式如下[ p_i \frac{\exp((x \cdot W_r)i)}{\sum{j1}^{N}\exp((x \cdot W_r)_j)} ]然后取 top-k得到最終組合權重。6.2 路由門控的負載均衡挑戰路由門控最經典的問題是負載不均衡如果某個專家總被選中其他專家幾乎不被使用整個 MoE 層就退化成單專家模型稀疏性的收益全部消失。解決辦法是加輔助均衡損失。常見的做法是計算每個專家的平均路由概率。計算每個專家的平均被選中次數。讓兩個分布盡量接近。公式可以表達為[ L_{balance} \alpha \cdot N \cdot \sum_{i1}^{N} f_i \cdot p_i ]其中 (f_i) 是第 (i) 個專家被選中的頻率(p_i) 是路由平均概率(N) 是專家數量(\alpha) 是平衡系數。6.3 專家內部門控SiTU-GLU 與 SwiGLU 的定位MoE 里的門控其實存在兩層第一層是路由門控決定“選擇誰”。第二層是專家內部的前饋門控決定“信息怎么變換”。SwiGLU 和 SiTU-GLU 屬于第二層。專家網絡本質上是一個 FFN而 FFN 的內部結構正好可以用 GLU 系列激活函數來強化。所以一個典型的 MoE 專家可以寫成Expert(x) OutputProj( GateActivation(InputProj(x)) * ValueProj(x) )其中GateActivation可以是 SiLU對應 SwiGLU或 SiTU對應 SiTU-GLU。6.4 完整示例Top-K Router SwiGLU 專家下面把路由門控和 SwiGLU 專家組合成一個可運行的簡化 MoE 層。import torch import torch.nn as nn import torch.nn.functional as F class TopKRouter(nn.Module): 簡化版 Top-K 路由器 輸入: [B, T, d_model] 輸出: top_idx: [B, T, top_k] 每個 token 選中的專家編號 top_probs: [B, T, top_k] 歸一化后的路由權重 def __init__(self, d_model, n_experts, top_k2): super().__init__() self.top_k top_k self.router nn.Linear(d_model, n_experts, biasFalse) def forward(self, x): logits self.router(x) # [B, T, n_experts] probs F.softmax(logits, dim-1) top_probs, top_idx torch.topk(probs, self.top_k, dim-1) # 對選中的概率重新歸一化 top_probs top_probs / top_probs.sum(dim-1, keepdimTrue) return top_idx, top_probs class SimpleMoE(nn.Module): 簡化版 MoE Layer 每個專家內部使用 SwiGLU 風格的前饋網絡。 def __init__(self, d_model, n_experts, top_k, hidden_dim): super().__init__() self.top_k top_k self.router nn.Linear(d_model, n_experts, biasFalse) # 每個專家: 兩個線性層 SiLU 門控 self.experts nn.ModuleList([ nn.Sequential( SwiGLU(d_model, hidden_dim), nn.Linear(hidden_dim, d_model) ) for _ in range(n_experts) ]) def forward(self, x): B, T, D x.shape x_flat x.reshape(-1, D) # [B*T, D] # 路由 logits self.router(x_flat) # [B*T, n_experts] probs F.softmax(logits, dim-1) top_probs, top_idx torch.topk(probs, self.top_k, dim-1) top_probs top_probs / top_probs.sum(dim-1, keepdimTrue) out torch.zeros_like(x_flat) # 逐專家計算貢獻 for e, expert in enumerate(self.experts): # 哪些 token 選中了專家 e mask (top_idx e).any(dim-1) if not mask.any(): continue expert_out expert(x_flat[mask]) # 提取每個 token 對專家 e 的權重 e_probs torch.where( top_idx[mask] e, top_probs[mask], torch.zeros_like(top_probs[mask]) ) weight e_probs.sum(dim-1, keepdimTrue) # [n_selected, 1] out[mask] expert_out * weight return out.view(B, T, D) # 測試 if __name__ __main__: torch.manual_seed(42) moe SimpleMoE( d_model128, n_experts8, top_k2, hidden_dim256 ) x torch.randn(2, 10, 128) y moe(x) print(MoE output:, y.shape) # torch.Size([2, 10, 128])如果你希望訓練更穩定可以把top_k換成可學習的 soft 門控權重但在稠密場景下 Top-K 的效果已經足夠好。7. 常見誤區與排查清單門控相關概念多且相似下面整理幾個高頻誤區和排查思路。問題現象常見原因解決思路把 Gated MLA 理解成 MHA 后面加個 sigmoidMLA 的核心是低秩 KV 壓縮門控是在 latent 空間調制 K/V先理解 MLA 的壓縮-解壓過程再看門控插入位置認為 KDA 就是 GQAGQA 減少 KV 頭數量KDA 是把 key 路徑拆成多分支并用門控融合畫出 key 分支結構對比把 SwiGLU 和 SiLU 當成同一個東西SwiGLU 是門控線性單元SiLU 是激活函數二者不是同一層面SwiGLU 值分支 x SiLU(門控分支)訓練 MoE 時某個專家始終不被選中路由初始化不當或缺乏負載均衡損失調整 router 初始化加入 balance loss門控輸出經常飽和梯度消失sigmoid 輸入絕對值過大檢查 gate_proj 的初始化或使用帶下界的門控變體推理時門控分支拖慢速度門控在完整 K/V 維度計算把門控放在 latent 維度或與 KV 解壓算子融合8. 工程實踐建議與學習路線8.1 架構設計建議在實際設計或復現帶門控的 LLM 模塊時有幾點值得留意。首先門控分支的位置直接影響信息選擇效果。Gated MLA 中門控放在 latent 空間更高效但表達力可能不如放在解壓后的 K/V 空間如果顯存允許可以選擇在兩組位置同時加門控再用殘差連接做兜底。其次初始化很重要。sigmoid 在輸入為 0 時輸出 0.5如果門控權重初始化過大信號會接近飽和梯度難以流動。實踐中可以讓gate_proj的輸出初始偏向 0 附近甚至給 bias 設置一個負初始值讓門控初始偏向“關閉”以穩定早期訓練。8.2 訓練與推理注意事項訓練階段要關注門控是否存在“退化成常數”的問題。如果訓練后期門控輸出始終固定在某個值附近說明門控沒有學到有效的信息選擇邏輯可以檢查一下梯度或嘗試給門控分支添加正則。推理階段Gated MLA 和 KDA 門控分支的額外算子會帶來 kernel launch 開銷。真實部署時建議把gate_proj、w_uk、w_uv等線性層合并成一個大矩陣乘法減少訪存和 kernel 啟停次數。對 MoE 來說路由門控的數值精度要留心。在低精度推理時router logits 的微小波動可能導致 top-k 選擇結果變化進而影響生成穩定性。必要時用更高精度計算 router logits或者對 router logits 做縮放防止 softmax 后概率過于集中。8.3 學習路線如果你想系統掌握門控機制可以按這個順序走從激活函數入手實現并對比 ReLU、GELU、SiLU、Mish。實現 GLU 和 SwiGLU觀察門控分支對梯度流動的影響。實現標準 MHA再實現 DeepSeek-V2 的 MLA最后加上門控分支。閱讀 LLaMA 系列和 Mistral 的代碼看 SwiGLU 在實際模型中如何落地。嘗試實現一個包含 router 和專家網絡的 MoE 層加入負載均衡 loss。回到 Kimi K3 的公開架構資料對照本文的模塊圖逐層印證。如果條件允許可以下載一個中等規模的開源 MoE 模型用推理框架觀察不同專家被激活的頻率配合日志分析路由門控的行為。這會比單純看論文更有體感。門控機制是理解現代大模型的一條重要線索。從 LSTM 的遺忘門到 SwiGLU 的門控前饋再到 Gated MLA 和 MoE 路由本質上都在做同一件事讓模型自己學會信息該如何選擇、何時放行、以什么比例放行。建議你打開編輯器把文中的 SimplifiedGatedMLA 和 SimpleMoE 各跑一遍然后試著調整門控位置、初始化和 top-k 大小直觀感受這些改動對訓練和輸出的影響。動手跑通之后再回去看 Kimi K3 的架構分析會順手很多。