请选择 进入手机版 | 继续访问电脑版

登录 

游客您好!登录后享受更多精彩

查看: 1024|回复: 1

DeepSpeed v0.3.0 发布,微软开源的深度学习优化库

[复制链接]

16

主题

24

帖子

64

积分

注册会员

Rank: 2

积分
64
发表于 2020-9-14 18:02:56 | 显示全部楼层 |阅读模式
DeepSpeed v0.3.0 发布了。DeepSpeed 是微软开源的深度学习优化库,它可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型,使分布式训练变得容易、高效和有效。

新特性
DeepSpeed:面向所有人的极限模型训练
通过 DeepSpeed 稀疏注意力提高 10 倍的序列长度和 6 倍的执行速度
使用管道并行性训练数万亿个参数
通过 1 位 Adam 最多可减少 5 倍的交流和 3.4 倍的训练
通过 ZeRO-Offload 在单个 GPU 上进行 10 倍于大型模型的训练

改进
重构代码库,以更清楚地区分 ops/runtime/zero 等
条件运算构建
并非所有用户都必须花时间构建 transformer kernels,如果他们不想使用的话
为了确保 DeepSpeed 在多个环境中可移植,某些功能需要唯一的依赖关系,但并非每个人都能够或想要安装
DeepSpeed 启动器除了支持 pdsh 外还支持其他后端,例如 Open MPI 和 MVAPICH




链接:https://www.oschina.net/news/118560/deepspeed-0-3-0-released
回复

使用道具

3

主题

12

帖子

30

积分

新手上路

Rank: 1

积分
30
发表于 2021-5-12 10:26:08 | 显示全部楼层

实在是好

回复

使用道具

您需要登录后才可以回帖

本版积分规则

粤ICP备20043801号-1  Copyright ©广州市开放邑软件科技有限公司

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表