Scaling Law之下，MoE（混合专家）如今已经成为各大模型厂商扩展模型能力的制胜法宝。
构建了一套名为Adaptive Pipe & EDPB的优化方案，开启“上帝视角”，让MoE面临“交通拥堵”的训练集群，实现无等待流畅运行。
当模型规模较大时，需要切分专家到不同设备形成并行（EP），这就引入额外All-to-All通信。
与此同时，MoE层绝大部分EP通信与计算存在时序依赖关系，一般的串行执行模式会导致大量计算单元空闲，等待通信。
MoE算法核心是“有能者居之”，在训练过程中会出现部分热专家被频繁调用，而冷专家使用率较低的情况。
同时，真实训练数据的长度不一，不同的模型层（如稀疏层、嵌入层等）的计算量也存在明显差异，造成不同卡之间计算也在互相等待。
用一个形象点的说法就是，MoE训练系统就像一个存在局部交通阻塞的城区，面临两大核心问题：
人车混行阻塞：所有车辆（计算）与行人（通信）在红绿灯交替通行，互相等待。车道分配僵化：固定划分的直行、左转车道就像静态的专家分配，导致热门车道（热专家）大排长龙，而冷门车道（冷专家）闲置。
首先，建造“行人地下通道”（通信掩盖技术），彻底分离人车动线，使计算不再等待通信。
其次，部署“智能可变车道”（动态专家路由），根据实时车流（数据分布）动态调整车道功能，让闲置的左转车道也能分担直行压力，实现负载均衡。
这套组合方案既解决了资源分配不均的问题，又消除了通信阻塞的瓶颈，就像为城市交通装上了“智慧大脑”，让每个方向的通行效率都得到最大化提升。
具体来说，华为首先构建了名为DeployMind的仿真平台，它是一个基于昇腾硬件训练系统的“数字孪生”平台，通过计算/通信/内存三维度的多层级建模、昇腾硬件系统的高精度映射、全局化算法加速运行等技术，能在1小时内模拟百万次训练场景，实现MoE模型多样化训练负载的快速分析和自动找到与集群硬件规格匹配的最优策略选择。
在训练实践验证中，该建模框架可达到90%精度指标，实现低成本且高效的最优并行选择。
针对Pangu Ultra MoE 718B模型，在单卡内存使用约束下，华为通过DeployMind以训练性能为目标找到了TP8/PP16/VPP2/EP32（其中TP只作用于Attention），这一最适合昇腾集群硬件规格的并行方案，综合实现计算、通信、内存的最佳平衡。
华为还提出了一套名为Adaptive Pipe的通信掩盖框架。在DeployMind仿真平台自动求解最优并行的基础上，采用层次化All-to-All降低机间通信和自适应细粒度前反向掩盖，实现通信几乎“零暴露”。
针对不同服务器之间通信带宽低，但机内通信带宽高的特点，华为创新地将通信过程拆成了两步走：
第一步，让各个机器上“位置相同”的计算单元联手，快速地从所有机器上收集完整的数据块（Token）；
第二步，每台机器内部先对数据块进行整理，然后利用机器内部的高速通道，快速完成互相交换。
这种分层设计的巧妙之处在于，它把每个数据块最多的复制分发操作都限制在单台机器内部的高速网络上完成，而在跨机器传输时，每个数据块只需要发送一份拷贝，相比传统All-to-All通信加速1倍。
在DualPipe掩盖框架的基础上，华为基于虚拟流水线并行技术，实现了更精密的调度，即Adaptive Pipe。
相比DualPipe，Adaptive Pipe仅利用一份权重，不仅将流水线并行所需的内存占用减半，有效降低了计算“空泡”，释放了流水线的峰值性能潜力；同时，该策略能够额外实现与分层通信的完美协同，无缝覆盖机间与机内两层通信的掩盖。
在这种层次化通信和细粒度计算通信切分调度优化下，Adaptive Pipe可实现98%以上的EP通信掩盖，让计算引擎不受通信等待的束缚。
由于MoE模型训练过程中天然存在的负载不均问题，集群训练效率时高时低，华为团队还提出了EDPB全局负载均衡，实现专家均衡调度。
MoE模型训练中，设备间的专家负载不均衡如同“跷跷板”——部分设备满载运行，另一些却处于“半休眠”状态。团队提出了基于多目标优化的专家动态迁移技术，让专家在分布式设备间“智能流动”。
IM电竞,IM电竞官网,IM电竞注册,电竞投注平台,电竞博彩,英雄联盟竞猜
预测先行，让专家负载“看得见未来”：预测负载趋势，实现“计算零存储开销，预测毫秒级响应”；双层优化，计算与通信的黄金分割点：提出节点-设备双层贪心优化架构，在让计算资源“齐步走”的同时，给通信链路“减负”；智能触发，给专家迁移装上“红绿灯”：设计分层迁移阈值机制，通过预评估迁移收益动态决策，实现专家迁移的智能触发。
在模型预训练中普遍采用数据拼接固定长度的策略，但跨数据的稀疏Attention计算量差异显著，会引入负载不均衡问题，导致DP间出现“快等慢”的资源浪费。
为解决这一问题，华为团队提出了一种精度无损的动态数据重排方案，其核心在于：通过线性模型量化单样本计算耗时，在严格保持训练精度无损下，批次内采用贪心算法构建最小化耗时的数据重排，实现负载均衡。
MoE模型通常采用混合结构，Dense层、MTP层、输出层所在的Stage与纯MoE层所在的Stage负载不均，会造成的Stage间等待。
华为团队提出虚拟流水线层间负载均衡技术，将MTP层与输出层分离，同时将MTP Layer的 Embedding计算前移至首个Stage，有效规避Stage间等待问题，实现负载均衡。
实验结果显示，在最优并行策略的初始性能基础上，华为这套“通信掩盖+动态专家迁移”的优化方案，能实现系统端到端72.6%的训练吞吐提升。
总而言之，华为的这套打法可以说是为大模型训练优化提供了关键路径。感兴趣的小伙伴可以再通过完整技术报告深入了解——
06月02日，2024暑期档电影票房突破110亿，乐竞体育平台注册，ray雷竞技app，万博官网手机版入口，乐橙官网
06月02日，孩子学不进去成绩差是一种病吗？学习困难门诊火爆背后，必威登录界面，棋牌游戏欢乐斗牛，手机炸金花app，伯爵游戏网站
06月02日，《2024有意思生活方式报告》发布：数据解读年轻人“钱都花哪儿了？”，天线街机三国，凯发娱乐官网网页版入口，bsport体育网站
06月02日澳大利亚联邦汽车工业商会：澳所售电动汽车中超80%是中国制造扑克游戏下载KU体育手机网址yth206游艇会官网18luck新利官网利app
06月02日“装修返租”真有那么好吗？小心上当贝搏体育app官网下载最新版猎人国际真人cs俱乐部亚投集团游戏半岛官网网页登录
06月02日泰媒：一辆载中国游客巴士在泰国侧翻 至少17人受伤球探比分即时足球比分老板本万博manbetx客户端网页ManBetX万博可靠吗伟德竞彩官网……
06月02日，英国首相斯塔默召开“眼镜蛇”紧急会议应对骚乱，宝博官网登录，MG电子备用网址，大发体育app下载，ca88登路
06月02日，汽车产业重塑竞争新格局，皇冠滚球手机客户端，胜负彩足球彩票官网，b0b体育平台咋样，鸿博体育网站是多少
06月02日俄美军方高官通电话真人正规排行皇家现场视讯早开先生暗语开元棋盘游戏中心app
06月02日，海派绘画与岭南绘画名家作品东莞“牵手”联展，leyu乐鱼电子网投，刺激战场国际服真人多，雷竞技raybetapp官网进入，中三元app官网
06月02日，全球现役最大的清洁动力汽车滚装船首航，云顶国际提款不到账，澳门线上登录，大发体育真人，金冠app下载
06月02日，（粤港澳大湾区）港澳居民享广州南沙个税优惠逾3900万元，捕鱼网络平台，凯发娱乐app下载，大发888下载地址，ag娱乐大厅
06月02日上海半程马拉松男女赛会纪录均被刷新百老汇世界杯买球必威在哪注册英皇娱乐APP安卓金苹果游戏娱乐平台
06月02日国家矿山安监局：非法违法生产建设是造成重特大事故的罪魁祸首betway必威棋牌游戏评测网九州手机版登录买球网站平台
06月02日2024浙江·台湾合作周在杭州开幕m6米乐靠谱吗leyu乐鱼体育官方申博梦幻厅三公金新国际真人投注
以色列通过攻打拉法的决定，特朗普刑事案特别检察官将辞职中国最高检对江苏省政协原副主席王昊决定逮捕中国向联合国交存黄岩岛领海基线声明和海图伟德体育平台网址欧宝ob官网app苹果手机在哪买球新利luck18网址备用
跳进地理书的旅行 第二季，孙颖莎的时间表印度学者：美西方正在做“最后的挣扎”188bet手机版登录金狮贵宾如至一尊贵一显赫捕鱼之海底捞大众彩票平台登陆
如何评价败人品成LPL热梗，媒体：紫金矿业被贩毒集团掠夺3吨黄金受雨雪冰冻天气影响 广铁部分列车停运注册就送118元新皇冠官方app2020365bet怎么上V6212威尼斯人
马斯克官宣首次脑机接口人体实验，国乒女团对阵埃及国台办：一个中国原则是国际关系基本准则和国际社会普遍共识金沙手机游戏kb体育app火狐体育足球app千赢国际足球
美国梦魇：迷离绑架案，如何看待重庆燃气换表后费用暴涨在巴黎，34名“外教”与中国弟子共逐奥运梦yddxzcom赢多多美高梅网站官网真的英皇国际APP马后炮解太湖
付费自习室野蛮生长至近7万家，父亲替女儿殴打霸凌者被拘 家属发声广西退役老兵建“拥军之家” 20年扎根社区“富民强边”必威官网亚洲体育开云免费试玩开博体育官网vip威尼斯登录入口
完蛋我被美女包围了DLC预告，南城宴宁波舟山港“一带一路”航线条百老汇苹果版手机买球app最大的菠菜的平台bet体育在线登陆路线
