从零构建 LLM 推理引擎

定义教程目标、实现边界、工具链、crate 依赖关系与 Lab 0。

从 next-token prediction 与 logits 出发，说明 n-gram 的限制、attention 机制与 decoder-only 结构。

给出 RMSNorm、linear、attention、GQA、RoPE、SwiGLU 与 LM head 的 shape 约定和计算式。

分析 prefill/decode 流程、KV cache 的作用、sampling 策略、tokenizer、chat template 与吞吐指标。

介绍 CPU/GPU 执行模型、SIMT、内存层次、coalescing、dispatch grid 与 roofline 分析。

比较 CUDA、Vulkan、Metal、OpenCL 与 D3D12+DirectML，并说明 HAL 的设计动机。

说明 HLSL compute、资源类型、groupshared memory、DXC、D3D12 对象、barriers 与 root signature。

读取 config.json、safetensors 与 dtype 信息，建立 Qwen2/Qwen2.5 的模型尺寸和显存估算方法。

讨论 DirectML operator 生命周期、HLSL kernel、RDNA4 GEMM device removed 问题，以及 PC/Xbox device creation。

建立 Cargo workspace，初始化 D3D12/DirectML device，并实现 GEMM 与 affine kernel 的最小路径。

定义 Device/Buffer traits、buffer 状态跟踪、Executor、operator/kernel wrapper 与 GPU timer。

为 RMSNorm、RoPE、SwiGLU、add、GQA attention 与 matmul 建立 CPU reference、GPU kernel 和 parity 测试。

处理权重命名、CPU/GPU forward、debug layer、device removed 诊断与 custom matmul 接入。

实现 per-layer KV cache、prefill/decode、samplers、tokenizer 集成与端到端生成示例。

说明模型权重超过 VRAM 时的 copy queue、staging、double-buffering 与 cross-queue state 管理。

建立 benchmark、prefill/decode tok/s、memory reporting、bottleneck 分类与 regression gate。

分析 batching、f16 权重、coalesced GEMV、single-pass attention、cooperative RMSNorm 与 GPU argmax。

概述量化、tiled GEMM、fused epilogues、GPU sampling、speculative decoding 与 paged KV。

说明 Rust C ABI staticlib、C++ GDK host、device injection、ctypes 验证与 GDK desktop 流程。

整理 logging/tracing、GenerateStats、memory reporting、CLI、reproducibility 与 README 要求。

提供点积、matmul、softmax、FFI、f32/f16/bf16、PIX、D3D12 debug layer、术语表与仓库地图速查。