DeepSpeed

它是什么

微软开源的深度学习训练优化库，通过显存分片、流水线并行等技术让超大模型训练成为可能，是训练基础设施里的重要组件。

亮点

• 显存分片与并行策略大幅降低门槛
• 支持超大模型训练与微调
• 优化器与通信优化充分
• 被众多训练框架集成

怎么用

安装后按硬件规模配置策略，即可启动分布式训练任务。

协议说明

采用 Apache-2.0 协议，商用与二次开发前建议先读一遍条款，尤其是涉及对外提供服务的场景。