阳光保险集团股份有限公司张晗获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉阳光保险集团股份有限公司申请的专利一种语言模型的训练方法、装置、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114036300B 。
龙图腾网通过国家知识产权局官网在2025-08-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111367500.5,技术领域涉及:G06F16/35;该发明授权一种语言模型的训练方法、装置、电子设备及存储介质是由张晗;杜新凯;吕超;谷姗姗;孙垚锋;李文灏设计研发完成,并于2021-11-18向国家知识产权局提交的专利申请。
本一种语言模型的训练方法、装置、电子设备及存储介质在说明书摘要公布了:本申请提供了一种语言模型的训练方法、装置、电子设备及存储介质,包括:根据预先设定的自然语言处理任务,获取与所述预先设定的自然语言处理任务相关的初始文本数据;获取与所述预先设定的自然语言处理任务对应的用于加载训练文本样本的文本加载模板;按照所述文本加载模板加载初始文本数据,得到用于训练语言模型的训练文本样本;其中,所述训练文本样本中包括有标识信息训练文本和无标识信息训练文本;使用所述训练文本样本对初始语言模型进行迭代更新,生成目标语言模型。本申请通过使用有标识信息训练文本和无标识信息训练文本同步进行语言模型的训练,从而可以提高模型精度。
本发明授权一种语言模型的训练方法、装置、电子设备及存储介质在权利要求书中公布了:1.一种语言模型的训练方法,其特征在于,所述训练方法包括: 根据预先设定的自然语言处理任务,获取与所述预先设定的自然语言处理任务相关的初始文本数据;所述初始文本数据包括有标识信息的文本数据和无标识信息的文本数据; 获取与所述预先设定的自然语言处理任务对应的用于加载训练文本样本的文本加载模板;所述文本加载模板中包含用于加载文本的至少一个文本加载位置,和用于生成文本答案的一个文本答案位置; 按照所述文本加载模板加载初始文本数据,得到用于训练语言模型的训练文本样本;其中,所述训练文本样本中包括有标识信息训练文本和无标识信息训练文本; 使用所述训练文本样本对初始语言模型进行迭代更新,生成目标语言模型; 当待处理的自然语言处理任务为意图识别任务时,在生成目标语言模型之后,所述训练方法还包括: 获取训练好的意图识别模型、意图识别文本加载模板以及需进行意图识别的待处理文本数据;其中,所述意图识别文本加载模板中包括文本加载位置和文本答案位置; 将所述待处理文本数据加载至所述意图识别文本加载模板中的文本加载位置处,确定出文本答案位置为空的待预测文本数据; 将所述待预测文本数据输出至所述意图识别模型中,确定所述待预测文本数据中文本答案位置的预测答案,将所述预测答案确定为所述待处理文本数据的意图识别结果; 按照所述文本加载模板加载初始文本数据,得到用于训练语言模型的训练文本样本,包括:针对于初始文本数据中有标识信息的文本数据,将文本数据加载至文本加载模板中的文本加载位置处,将该文本数据对应的标识信息加载至该文本加载模板的文本答案位置处,将加载完成后的自然语言作为语言模型的训练样本,该样本为有标识信息训练文本;针对于初始文本数据中无标识信息的文本数据,将该文本数据直接作为模型的训练样本,该训练样本为无标识信息训练文本。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人阳光保险集团股份有限公司,其通讯地址为:518000 广东省深圳市福田区红荔西路7002号第一世界广场A座17层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。