买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浪潮通用软件有限公司申请的专利一种大语言模型自适应融合方法、装置及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120597991B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511105806.1，技术领域涉及：G06N3/096；该发明授权一种大语言模型自适应融合方法、装置及设备是由韩嘉懿;魏代森;路宽;丁一凡;宋刚;吴艺文;王秀芳设计研发完成，并于2025-08-08向国家知识产权局提交的专利申请。

本一种大语言模型自适应融合方法、装置及设备在说明书摘要公布了：本发明涉及大语言模型融合技术领域，公开了一种大语言模型自适应融合方法、装置及设备。所述方法包括：基于多个垂域数据集对基座模型进行微调，得到多个垂域模型；计算每个垂域模型的模型参数相对于基座模型参数的增量向量，记为任务向量；自所述多个垂域数据集的并集中采样得到多个批次训练集；固定所述基座模型，对门控参数进行批次训练；训练过程中，针对每个训练样本，分别提取输入文本的语义特征向量，计算门控概率矩阵；计算每个任务向量的融合权重；基于基座模型参数、任务向量及对应融合权重，更新融合模型；最后通过模型前馈和反向传播，更新门控参数，重复训练。本发明能够得到适用于多个垂域的融合模型。

本发明授权一种大语言模型自适应融合方法、装置及设备在权利要求书中公布了：1.一种大语言模型自适应融合方法，其特征在于，包括以下步骤： 基于多个垂域数据集对基座模型进行微调，得到多个垂域模型； 计算每个垂域模型的模型参数相对于基座模型参数的增量向量，记为任务向量； 自所述多个垂域数据集的并集中采样得到训练集； 固定所述基座模型，对门控参数进行训练；训练过程中，针对每个训练样本，分别基于基座模型提取所述训练样本输入文本的语义特征向量，根据当前门控参数计算门控概率矩阵；根据门控概率矩阵计算每个任务向量的融合权重；基于基座模型参数、任务向量及对应融合权重，得到融合模型参数； 将融合模型参数赋予基座模型，得到新的融合模型，针对新的融合模型，通过模型前馈和反向传播，更新门控参数，重复训练过程，直至满足终止条件； 得到门控概率矩阵后，首先对门控概率矩阵进行伯努利采样，生成二进制门控向量，根据门控向量计算针对每个任务向量的融合权重； 门控概率矩阵G的每个列向量Gi表示第i个垂域任务与当前输入的相关性； 根据垂域任务之间的冲突因子和门控向量，计算针对每个任务向量的归一化融合权重，其中，针对第i个垂域任务向量的归一化融合权重计算公式为： 其中，为门控向量中针对第i个垂域任务的取值，表示第i个垂域任务与其他垂域任务之间的冲突因子，为常数，N为垂域数量； 第i个垂域任务与其他垂域任务之间的冲突因子计算公式为： 其中，Sij是第i个垂域和第j个垂域任务向量之间的相似度，N为垂域数量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浪潮通用软件有限公司，其通讯地址为：250000 山东省济南市历下区浪潮路1036号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。