标签： transformer

所有带有「transformer」标签的文章。

• 从矩阵反向传播到 DP、TP 与 CP：Transformer 训练如何拆开计算

  更新于 2026年7月28日

  从一个批量矩阵的梯度推导出发，解释 Adam、DP 梯度平均、TP 分片反传、CP 长上下文与 ZeRO 状态分片的共同数学基础。

• 从 Dense FFN 到 MoE：用一个 Tiny Transformer 理解 Router、Top-K 与负载均衡

  2026年7月21日

  沿一个可运行的两层 Tiny Transformer，拆开 Dense FFN、SwiGLU、Top-K 路由、expert dispatch/combine 与负载均衡。

• 从 QKV 到 KV Cache：一步步理解 Transformer 训练与大模型推理

  2026年7月20日

  沿一个可运行的 Tiny Transformer，把 QKV、causal mask、反向传播、AdamW、KV cache、prefill/decode 与 MaaS 调度串成同一条路径。