学习资源 - TserJay 的博客

课程

CUDA 核心概念与并行编程模型，适合作为 GPU 编程的第一站。

并行体系结构与性能优化的经典课程，覆盖 GPU、多核与集群。

从硬件、内核到分布式训练与推理的全栈性能工程，当前在读。

CUDA 与大规模并行处理的标准教材，配套 CUDA 最佳实践。

论文	主题
Attention Is All You Need	Transformer 原始论文
FlashAttention	IO 感知的精确注意力计算
FlashAttention-2	更好的并行度与工作划分
FlashAttention-3	面向 Hopper 架构的异步与低精度优化
Efficient Memory Management for Large Language Model Serving with PagedAttention	vLLM 的 PagedAttention 与 KV Cache 分页管理
Orca: A Distributed Serving System for Transformer-Based Generative Models	连续批处理（continuous batching）
Efficiently Scaling Transformer Inference	推理阶段的并行策略与权衡
Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism	张量并行与流水线并行