当前位置:首页 > 热点 > 正文

爱上头条_字节跳动开源漫衍式练习框架BytePS,登上GitHub热榜

07-22 热点

问耕 发自 凸非寺

量子位 出品 | 平易近众号 QbitAI

字节跳动开源了通用漫衍式练习框架BytePS,那个框架阻止TensorFlow、Keras、PyTorch、MXNet,可以大概大概运转在TCP或RDMA网络中。

民间介绍称,

申博sunbet官网

申博sunbet官网是国内最大的娱乐服务型网站,业内口碑极好,本网站由菲律宾申博合法经营,是为迎合广大网友的娱乐需求而生的专业博彩网站,我们提供透明公开的各类合法投注等游戏,摒弃无趣,轻松赚取现金,简单的申博开户马上成为会员,丰富生活,尽在菲律宾申博网!

,BytePS大大优于现有的开源漫衍式练习框架。比方,在雷同的条件下,BytePS的练习速度是Horovod+NCCL的二倍。

BytePS也登上了GitHub趋势热榜。


爱上头条_字节跳动开源扩集式操演框架BytePS,登上GitHub热榜

性能默示

为了铺示BytePS的性能,民间测试了二个模型:VGG16(通信麋散型)以及Resnet50(较量争辩麋散型),二个模型都以fp32精度举行练习。

练习应用了公有云上的伪造机,每一个枯燥有8个GPU,启用了NVLink。那些GPU都是Tesla V100 16GB型号GPU,batch size设置设施铺排为64/每一GPU。硬件之间以20Gbps的TCP/IP网络联接。

测试剖明,与Horovod (NCCL)比照,BytePS在VGG16练习上的速度快100%,

天津新闻频道

天津新闻频道,是一个综合性新闻网站,立足天津,面向世界,凭借分社较强的采编力量,为广大读者和网友提供丰富多彩、准确快捷的新闻资讯,受到各界的广泛好评。

菲律宾sunbet

菲律宾Sunbet()携手洛阳惠通二手车交易市场有限公司打造2018最新款在线的娱乐平台,24小时在线客服为你提供贴心的服务。

,Resnet练习速度快44%。


爱上头条_字节跳动开源扩集式操演框架BytePS,登上GitHub热榜


爱上头条_字节跳动开源扩集式操演框架BytePS,登上GitHub热榜

Horovod是Uber开源的深度深造器械,

申博官网

申博太阳城作为出色的娱乐网站,人气在全球居高不下,我们一贯秉承认真负责的服务态度,想加入太阳城申博,请牢记申博sunbet官网,sunbet开户界面简易,可自动生成账号,不需要条件,充分保障您的个人信息不受侵犯,在线真人游戏,与各地彩友一起加入,更具趣味性,人人有机会简单赢大奖,给您的福利已经准备好,我们期待您的到来。

,NCCL是英伟达颁布的多开苞信框架。

起因剖析

BytePS为什么比Horovod更弱?

民间表明称,一个首要的起因是BytePS是特地为云以及共享散群而梦想,并且摈弃了MPI。MPI是一个跨谈话的通讯协议,用于编写并行较量争辩机。

MPI是为高性能较量争辩机而生,敷衍应用同类硬件构建的散群和运转繁多事项更有效。但的确不是云(或许内部共享散群)的最好决定。

是以字节跳动团队从新思索了最好的通信计谋。简而言之,BytePS仅在枯燥内部应用NCCL,从新构建了枯燥内部的通信。

BytePS还散成为了良多加速武艺,比方分层计谋、流水线、张量分区、NUMA感知边疆通信、基于优先级的调节等等。

热点网版权保护: 转载请保留链接: http://www.purelover.cn

博客主人

推荐文章

热门文章

随机文章