LLM 学习项目

KuiperLLama

  • 采用最新的 C++ 20 标准去写代码，统一、美观的代码风格，良好的错误处理；
  • 优秀的项目管理形式，我们采用 CMake + Git 的方式管理项目，接轨大厂；
  • 授人以渔，教大家怎么设计一个现代 C++ 项目，同时教大家怎么用单元测试和 Benchmark 去测试验证自己的项目；
  • CPU 算子和 CUDA 双后端实现，对时新的大模型（LLama3 和 Qwen 系列）有非常好的支持。

项目地址：https://github.com/zjhellofss/KuiperLLama。

lightllm

推荐用 lightllm 这个项目学习 Triton for LLM，它是一个纯 python 的 LLM 推理服务框架，用 Triton 实现了各类 LLM 需要的 layer。

项目地址：https://github.com/ModelTC/lightllm。

Material for gpu-mode lectures

如何系统地学习CUDA？这个课程算是比较全面的，像 profile、triton、cutlass、FlashAttention、RingAttention 都有了。

项目地址：https://github.com/gpu-mode/lectures。

LLMs-from-scratch

Implement a ChatGPT-like LLM in PyTorch from scratch, step by step.

项目地址：https://github.com/rasbt/LLMs-from-scratch。