买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利MoE稀疏大模型的分阶段混合并行推理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120069097B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510542935.0，技术领域涉及：G06N5/04；该发明授权MoE稀疏大模型的分阶段混合并行推理方法及系统是由李士刚;陈家豪;董景坤;马志;吴小飞设计研发完成，并于2025-04-28向国家知识产权局提交的专利申请。

本MoE稀疏大模型的分阶段混合并行推理方法及系统在说明书摘要公布了：本申请提供‌MoE稀疏大模型的分阶段混合并行推理方法及系统，涉及特定计算模型系统技术领域，方法包括：在预填充阶段控制MoE稀疏大模型逐层执行：在获取提示数据序列的各字符的专家号的同时，向各设备添加基于张量并行策略运行的第一混合专家层模型参数；再基于各设备中的基于专家并行策略运行的第二混合专家层模型参数进行专家并行计算；将字符恢复至设备初始位置并释放第二混合专家层模型参数；将模型最后层输出的预测字符发送至首个层以用于根据预测字符和各设备中的第一混合专家层模型参数执行解码阶段的推理。本申请能够解决现有‌MoE稀疏大模型推理技术采用的并行策略对预填充阶段以及解码阶段的适配性较差且通信开销较大的问题。

本发明授权MoE稀疏大模型的分阶段混合并行推理方法及系统在权利要求书中公布了：1.一种‌MoE稀疏大模型的分阶段混合并行推理方法，其特征在于，包括： 在基于‌MoE稀疏大模型进行数据推理的预填充阶段，控制所述MoE稀疏大模型的各个架构层分别逐层执行第一步骤；其中，所述第一步骤包括：基于各个设备中的多头注意力层模型参数和门控函数，获取提示数据序列对应的当前分别位于各自所在的设备初始位置的各个字符各自的专家号，同时向各个所述设备添加基于张量并行策略运行的第一混合专家层模型参数；再根据各个字符各自的专家号以及各个所述设备中各自对应的基于专家并行策略运行的第二混合专家层模型参数对各个所述字符进行专家并行计算；而后将经专家并行计算后的各个所述字符分别恢复至各自的所述设备初始位置并释放各个所述设备中的所述第二混合专家层模型参数； 将所述MoE稀疏大模型的最后一个架构层输出的预测字符发送至所述MoE稀疏大模型中的首个架构层中的多头注意力层，以用于根据该预测字符、各个设备中的多头注意力层模型参数、门控函数以及各个所述设备中的基于张量并行策略运行的第一混合专家层模型参数执行MoE稀疏大模型进行数据推理的解码阶段。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。