买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于矩阵路由与Token分配的混合专家模型训练优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119862907B 。

龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411898051.0，技术领域涉及：G06N3/0442；该发明授权一种基于矩阵路由与Token分配的混合专家模型训练优化方法是由曾艳;黄成创;叶伟;梅一鹏;张纪林;万健设计研发完成，并于2024-12-23向国家知识产权局提交的专利申请。

本一种基于矩阵路由与Token分配的混合专家模型训练优化方法在说明书摘要公布了：本发明公开了一种基于矩阵路由与Token分配的混合专家模型训练优化方法，该方法首先在预训练过程中，MoE模型利用多个专家子模型处理不同的输入数据，MoE模型通过门控网络生成专家索引，并基于专家索引生成调度索引和组合索引。其次基于生成调度索引和组合索引，进入调度token和组合token阶段，将token调度到每个专家上进行专家处理，后者将专家处理后token进行组合，生成组合token。最后在完成上述MoE模型的预训练后，进行微调，完成训练优化。本发明确保在模型微调精度的保持不变的前提下，专家计算资源得到了充分利用，有效避免了资源闲置。

本发明授权一种基于矩阵路由与Token分配的混合专家模型训练优化方法在权利要求书中公布了：1.一种基于矩阵路由与Token分配的混合专家模型训练优化方法，其特征在于，包括如下步骤： 步骤1：在预训练过程中，MoE模型利用多个专家子模型处理不同的输入数据，MoE模型通过门控网络生成专家索引，并基于专家索引生成调度索引和组合索引； 所述调度索引的生成过程具体为：每个token基于门控网络选择对应的专家，并将每个token的专家选择结果汇总成二维矩阵M，矩阵M通过以下公式实现： 其中，Mij为矩阵M中第i行第j列的元素，tokeni为第i个token，expertj表示为第j个专家； 构建与矩阵M相同尺寸的矩阵X，矩阵X中元素远远大于M中的每个元素，将矩阵M与矩阵X进行如下计算： M′＝rangeN*M+X+rangeN*1-M 其中N表示X的长度，range表示一个循环函数，从0生成到N-1；在生成的矩阵M′中，通过快速排序和分片提取非零向量值，然后将所有大于等于X的索引重置为-1，标识该token不被该专家处理，完成调度索引的生成，时间复杂度降低至ONlogN；其中调度索引的为一个三维矩阵维度为DP,E,C，DP为数据并行的维度，E为专家的个数，C为专家容量的大小； 所述组合索引生成的过程为：基于矩阵M，通过GPU的并行矩阵处理特性沿行维度计算累计和Cumsum，保留已选择专家的位置不变： H＝CumsumM,axis＝1×M 将矩阵H的每列中与对应专家的序列向量V相加，向量V由以下公式生成： V＝Q×C Q是一个一维列向量，每个元素为行数-1； 得到矩阵H以后，对每列求和并减去1后得到组合索引；这一过程，将生成组合索引的时间复杂度从ON^3降至O1，其中调度索引的为一个二维矩阵维度为DP,N； 步骤2：基于生成调度索引和组合索引，进入调度token和组合token阶段，将token调度到每个专家上进行专家处理，专家处理后token进行组合，生成组合token； 步骤3：在完成上述MoE模型的预训练后，进行微调，完成训练优化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市钱塘区白杨街道2号大街1158号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。