买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海天数智芯半导体有限公司申请的专利混合专家模型的部署方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119167988B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410974782.2，技术领域涉及：G06N3/045；该发明授权混合专家模型的部署方法、装置、电子设备及存储介质是由朱帅设计研发完成，并于2024-07-19向国家知识产权局提交的专利申请。

本混合专家模型的部署方法、装置、电子设备及存储介质在说明书摘要公布了：本申请提供一种混合专家模型的部署方法、装置、电子设备及存储介质。混合专家模型包括多个transformer模块，每个transformer模块包括归一化层、压缩的多头注意力机制层和多层分级混合专家层；压缩的多头注意力机制层包括编解码器、多头注意力机制模块和位置编码器；多层分级混合专家层包括多级混合专家架构；部署方法包括：获取待部署的多个层级的硬件设备；将多级混合专家架构按照层级由高到低部署在硬件设备中对应层级中；低层级的硬件设备中部署的混合专家架构的层级不高于高层级的硬件设备中部署的混合专家架构的层级。通过基于硬件设备的层级和混合专家架构的层级进行对应部署，优化了集群中不同层级硬件带宽的使用，提高了混合专家模型的计算性能。

本发明授权混合专家模型的部署方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种混合专家模型的部署方法，其特征在于，所述混合专家模型包括多个transformer模块，每个transformer模块包括归一化层、压缩的多头注意力机制层和多层分级混合专家层； 所述压缩的多头注意力机制层包括编解码器、多头注意力机制模块和位置编码器； 所述多层分级混合专家层包括多级混合专家架构； 所述部署方法包括： 获取待部署的硬件设备，所述硬件设备包括多个层级； 将所述多级混合专家架构按照层级由高到低部署在所述硬件设备中对应层级中；其中，低层级的硬件设备中部署的混合专家架构的层级不高于高层级的硬件设备中部署的混合专家架构的层级； 所述方法还包括： 获取训练样本，所述训练样本包括问询语句和回答语句构成的问答对； 将所述训练样本中的问询语句输入到待训练的混合专家模型中，获得所述待训练的混合专家模型输出的预测结果； 根据所述预测结果和所述问询语句对应的回答语句计算预测损失； 统计批训练中所述待训练的混合专家模型中各个专家模型的实际使用次数，并计算各个专家模型的期望使用频率； 基于所述实际使用次数和所述期望使用频率计算负载平衡损失； 根据所述预测损失和所述负载平衡损失对所述待训练的混合专家模型的内部参数进行优化，获得训练好的混合专家模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海天数智芯半导体有限公司，其通讯地址为：201100 上海市闵行区陈行公路2388号3幢101-5室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。