标签： moe

所有带有「moe」标签的文章。

• 从 Dense FFN 到 MoE：用一个 Tiny Transformer 理解 Router、Top-K 与负载均衡

  2026年7月21日

  沿一个可运行的两层 Tiny Transformer，拆开 Dense FFN、SwiGLU、Top-K 路由、expert dispatch/combine 与负载均衡。