LLMs-from-scratch
Sebastian Raschka 博士编写的 PyTorch 实现指南，以 Jupyter Notebook 形式逐步拆解 ChatGPT 类 LLM 的完整构建流程，涵盖分词、注意力机制、预训练和指令微调全链路。适合想深入理解 LLM 内部原理的工程师与研究者。
信号分 96 · AI 工具 · 98,932 stars
查看来源每日简报
逐行拆解大模型：LLMs-from-scratch 为什么成为 AI 学习标杆
当多数人依赖封装库调用 LLM 时，这个项目选择从张量运算开始重建整个流程。
明确结论
LLMs-from-scratch 由机器学习教育专家 Sebastian Raschka 主导，以「手把手实现」为目标，用 PyTorch 从零构建类 ChatGPT 模型。项目 topics 精准覆盖 from-scratch、attention-mechanism、transformers、pretraining、instruction-tuning 等关键词，揭示其教学设计的系统性。不同于提供 API 的推理工具，这里你将看到 tokenizer 如何将文本转为 ID、嵌入层如何映射、多头注意力如何并行计算、残差连接如何稳定梯度。每章 Notebook 可独立运行，配合详细注释降低阅读难度。fork 数超 1.5 万且 open issues 仅 2 个，反映社区活跃但维护轻量，用户需自行补充前沿进展如 RoPE 位置编码、Flash Attention 等。适合作为 Coursera 课程的实践补充，或面试前系统性复习 LLM 架构。风险在于代码不涉及分布式训练、混合精度、推理优化等工程细节，若目标是部署生产模型需另寻专项资源。