声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：11-2223/N
国际刊号：1000-0054
发布日期:
作者：苗旭鹏, 张敏旭, 邵蓥侠, 崔斌
单位：1. 北京大学 信息科学技术学院, 北京 100871;<br>2. 北京邮电大学 计算机学院, 北京 100876
关键词：推荐模型,分布式深度学习,参数服务器,全局规约
基金：崔斌,教授,
传统的分布式深度学习训练系统大多基于参数服务器和全局规约通信框架,缺陷日益显著：参数量大,基于全局规约的去中心化通信架构由于无法存储全量模型而无法使用；通信量大,基于参数服务器的中心化通信架构面临着严重的通信瓶颈。为了解决以上问题,该文提出了面向大规模深度学习推荐模型的混合通信训练框架PS-Hybrid,分离了嵌入层参数和其他参数的通信逻辑,实现了PS-Hybrid原型系统。实验结果证明了所提出的混合通信方案能够比纯参数服务器方案取得更好的性能,在16个计算节点下比TensorFlow-PS加速48%。
来源：2022年第9期
《清华大学学报(自然科学版)》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。