标签: inference
所有带有「inference」标签的文章。
-
从 QKV 到 KV Cache:一步步理解 Transformer 训练与大模型推理
沿一个可运行的 Tiny Transformer,把 QKV、causal mask、反向传播、AdamW、KV cache、prefill/decode 与 MaaS 调度串成同一条路径。
所有带有「inference」标签的文章。
沿一个可运行的 Tiny Transformer,把 QKV、causal mask、反向传播、AdamW、KV cache、prefill/decode 与 MaaS 调度串成同一条路径。