北京大数据先进技术研究院刘艺获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京大数据先进技术研究院申请的专利基于联合度量指标选择的模型持续训练方法、装置和设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119719774B 。
龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411782183.7,技术领域涉及:G06F18/214;该发明授权基于联合度量指标选择的模型持续训练方法、装置和设备是由刘艺;郑奇斌;李晴;杨国利;刘坤;秦伟;刁兴春设计研发完成,并于2024-12-05向国家知识产权局提交的专利申请。
本基于联合度量指标选择的模型持续训练方法、装置和设备在说明书摘要公布了:本申请提供了一种基于联合度量指标选择的模型持续训练方法、装置和设备,包括:确定候选数据集针对第一小型语言模型的第一交叉熵损失值,确定训练数据集针对第二小型语言模型的第二交叉熵损失值,计算第一交叉熵损失值和第二交叉熵损失值的第一差值,基于第一差值,以及候选数据集与训练数据集之间的第一最优传输距离,从候选数据集中确定第一目标数据集,基于第一目标数据集,对第一小型语言模型进行持续训练,得到目标小型语言模型,一定程度上可以提升用于训练第一小型语言模型的第一目标数据集的数据质量,从而可以在一定程度上提升目标小型语言模型的预测准确度。
本发明授权基于联合度量指标选择的模型持续训练方法、装置和设备在权利要求书中公布了:1.一种基于联合度量指标选择的模型持续训练方法,其特征在于,所述方法包括: 确定候选数据集针对第一小型语言模型的第一交叉熵损失值,确定训练数据集针对第二小型语言模型的第二交叉熵损失值;其中,所述第二小型语言模型为所述第一小型语言模型经过模型参数调整后得到的模型;所述候选数据集和所述训练数据集中包含的样本文本数据不同; 计算所述第一交叉熵损失值和所述第二交叉熵损失值的第一差值; 基于所述第一差值,以及所述候选数据集与所述训练数据集之间的第一最优传输距离,从所述候选数据集中确定第一目标数据集;基于所述第一目标数据集,对所述第一小型语言模型进行持续训练,得到目标小型语言模型; 其中,所述基于所述第一目标数据集,对所述第一小型语言模型进行持续训练,得到目标小型语言模型,包括: 将所述第一目标数据集中包含的第一样本文本数据进行向量化,得到第一样本文本向量; 将所述第一样本文本向量输入所述第一小型语言模型中,得到所述第一小型语言模型输出的第一样本预测向量; 计算所述第一样本预测向量和所述第一样本文本数据对应的样本标注向量之间的第三交叉熵损失值; 基于所述第三交叉熵损失值,对所述第一小型语言模型的模型参数进行调整,得到目标小型语言模型; 所述基于所述第三交叉熵损失值,对所述第一小型语言模型的模型参数进行调整,得到目标小型语言模型,包括: 基于所述第三交叉熵损失值,对所述第一小型语言模型的模型参数进行调整,得到参数调整后的第一小型语言模型; 计算所述第三交叉熵损失值和所述第二交叉熵损失值之间的第二差值; 基于所述第二差值、所述第二差值的正则化系数和所述第一目标数据集与所述训练数据集之间的第二最优传输距离,确定所述第一目标数据集的第二质量评价指标; 从所述第一目标数据集中确定所述第二质量评价指标大于或等于第三阈值的第二目标数据集; 将所述第二目标数据集中包含的第二样本文本数据进行向量化,得到第二样本文本向量; 将所述第二样本文本向量输入所述参数调整后的第一小型语言模型中,得到所述参数调整后的第一小型语言模型输出的第二样本预测向量; 计算所述第二样本预测向量和所述第二样本文本数据对应的样本标注向量之间的第四交叉熵损失值; 计算所述第二样本预测向量和所述第二样本文本数基于所述第四交叉熵损失值,对所述参数调整后的第一小型语言模型的模型参数进行调整,得到目标小型语言模型据对应的样本标注向量之间的第四交叉熵损失值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京大数据先进技术研究院,其通讯地址为:100195 北京市海淀区闵庄路3号玉泉慧谷6号楼一层01;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励