南京信息工程大学朱一辉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京信息工程大学申请的专利基于动量机制与多类型专家的低能耗大语言模型的数据处理方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120450054B 。
龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510898422.3,技术领域涉及:G06N5/04;该发明授权基于动量机制与多类型专家的低能耗大语言模型的数据处理方法和系统是由朱一辉;陈恒月;徐侗桐;谷德常;魏若璇;崔恒智设计研发完成,并于2025-07-01向国家知识产权局提交的专利申请。
本基于动量机制与多类型专家的低能耗大语言模型的数据处理方法和系统在说明书摘要公布了:本申请公开了基于动量机制与多类型专家的低能耗大语言模型的数据处理方法和系统,属于大语言模型技术领域,包括获取混合专家模型,混合专家模型包括门控网络、组合网络和多个专家网络;基于懒加载机制获取目标数据;通过门控网络获取目标数据对应各个专家网络的适应度得分,获取满足排序要求的专家网络为目标网络;获取目标数据在目标网络中的输出数据,并通过组合网络加权求和多个输出数据。本申请在混合专家模型中设置多个专家网络,通过对目标数据的适应度得分进行适应度排名,选取满足排名要求的专家网络的输出进行加权求和,以获得最终输出,降低浮点运算和计算内存开销,提高计算效率,减少内存资源浪费。
本发明授权基于动量机制与多类型专家的低能耗大语言模型的数据处理方法和系统在权利要求书中公布了:1.基于动量机制与多类型专家的低能耗大语言模型的数据处理方法,其特征在于,包括: 获取混合专家模型,所述混合专家模型包括门控网络、组合网络和多个专家网络;多个所述专家网络包括路由专家,所述路由专家包括多个子专家网络; 基于懒加载机制获取目标数据,并输入所述混合专家模型; 通过所述门控网络获取所述目标数据对应各个所述专家网络的适应度得分,并基于所述适应度得分对多个所述专家网络进行排序,获取满足排序要求的所述专家网络为目标网络; 获取所述门控网络在所述专家网络中选择所述目标网络的历史数据; 基于所述历史数据优化所述门控网络对所述目标网络的当前选择结果,其表征公式包括: Rcurrent=λ·Rprevious+1-λ·Rnew; 其中,Rcurrent为所述目标网络的当前选择结果,用于表征当前选择的所述专家网络;Rprevious为所述历史数据,用于表征上一轮选择的所述专家网络;λ为所述历史数据的衰减因子,0≤λ≤1;Rnew为当前选择的所述专家网络; 其中,所述门控网络采用动量机制动态调整所述路由专家,用于结合学习率衰减优化多个子专家网络的选择过程,更新所述动量机制的表征公式包括: Pt=-fxt+μ·pt-1; 其中,pt为t时刻的动量,用于表征当前时刻的动量;fxt为t时刻的门控分数,用于表征当前时刻的门控分数;μ为动量系数;pt-1为t-1时刻的动量,用于表征上一时刻的动量;xt为t时刻的门控输出,用于表征当前时刻的门控输出,xt=xt-1+γ·pt-1,xt-1为t-1时刻的门控输出,用于表征上一时刻的门控输出,γ为学习率衰减的系数; 获取所述目标数据在所述目标网络中的输出数据,并通过所述组合网络加权求和多个所述输出数据,获取最终输出结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京信息工程大学,其通讯地址为:210044 江苏省南京市浦口区宁六路219号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。