可扩展智能体系统相关汇总
发布于 • 作者: Ethan
阅读内容
AI system
- 关于评估大语言模型（LLM）推理系统性能
- 数据中心即计算机（一、二章节）
- 机器学习集群效率：使用 ML 生产力吞吐量分析与优化大规模 Google TPU 系统
- The Illustrated Transformer
- OpenHands：面向 AI 软件开发者的通用代理开放平台
Distributed training
Pre-train
- WLB-LLM：用于大语言模型训练的工作负载均衡4D 并行方案
- 零气泡流水线并行
- Alpa：用于分布式深度学习的算子间与算子内并行自动化
- FSMoE：一种用于稀疏混合专家模型的灵活且可扩展的训练系统
- TrainVerify：基于等价性的分布式大语言模型训练验证方法
- Oobleck：大模型分布式训练的容错革命
- AReaL：用于语言推理的大规模异步强化学习系统
- DeepSeek-R1：基于强化学习的大语言模型推理能力激励方法