上海稀宇极智科技有限公司李亚伟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海稀宇极智科技有限公司申请的专利一种大语言模型编码训练方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120373393B 。
龙图腾网通过国家知识产权局官网在2026-04-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510547869.6,技术领域涉及:G06N3/08;该发明授权一种大语言模型编码训练方法及装置是由李亚伟;张博闻;金瑞洋;杨明祺设计研发完成,并于2024-10-21向国家知识产权局提交的专利申请。
本一种大语言模型编码训练方法及装置在说明书摘要公布了:本发明公开了一种大语言模型编码训练方法及装置。方法包括:针对至少一种训练数据提取至少一个维度的部分训练数据;将至少一个维度的部分训练数据分别进行编码,生成至少一层强化目标编码;针对每个训练样本数据组中的至少一种训练数据,确定所述训练数据的N层目标编码;将至少一层所述强化目标编码与N层所述目标编码叠加,对大语言模型进行训练,生成目标模型。本方案可以强化大语言模型在某些维度的训练效果,获得更好的大语言模型训练效果。
本发明授权一种大语言模型编码训练方法及装置在权利要求书中公布了:1.一种大语言模型编码训练方法,其特征在于,包括: 获取训练数据集;其中,所述训练数据集中包含至少两个训练样本数据组,每个所述训练样本数据组由对应的至少两种训练数据组成;每个所述训练样本数据组包括拟合音乐及目标歌词,或者,每个所述训练样本数据组包括参考音乐、拟合音乐及目标歌词; 针对至少一种训练数据提取至少一个维度的部分训练数据;其中,若所述训练数据为拟合音乐或参考音乐时,对应的所述部分训练数据包括伴奏部分及人声部分两个维度,或者,对应的所述部分训练数据包括低音、中音、高音三个维度,或者,对应的所述部分训练数据包括不同乐器、不同人声的多个维度; 将至少一个维度的部分训练数据分别进行编码,生成至少一层强化目标编码; 针对每个训练样本数据组中的至少一种训练数据,确定所述训练数据的N层目标编码;其中,N为大于等于2的整数; 将至少一层所述强化目标编码与N层所述目标编码叠加,对大语言模型进行训练,生成目标模型; 其中,针对每个训练样本数据组中的至少一种训练数据,确定所述训练数据的N层目标编码,包括: 针对每个所述训练样本数据组中的至少一种训练数据,确定所述训练数据的第一层目标编码; 将所述第一层目标编码作为当前层目标编码,确定所述当前层目标编码的当前层编码偏差,并基于所述当前层编码偏差确定下一层目标编码;其中,所述当前层编码偏差为当前层初始编码与所述当前层目标编码的差值; 将所述下一层目标编码更新为所述当前层目标编码,并返回执行确定所述当前层目标编码的当前层编码偏差,确定出第N层目标编码; 其中,确定所述训练数据的第一层目标编码,包括: 确定所述训练数据的第一层初始编码; 将所述第一层初始编码与预先设定的编码密码本中的每个第一编码或第一编码对应的第一标准编码进行比较,确定所述编码密码本中与所述第一层初始编码相似度最高的第一编码对应的第一目标编码; 基于所述第一目标编码确定第一层目标编码; 其中,确定所述当前层目标编码的当前层编码偏差,并基于所述当前层编码偏差确定下一层目标编码,包括: 计算当前层初始编码与所述当前层目标编码间的残差,并将所述残差作为所述当前层编码的当前层编码偏差; 将所述当前层编码偏差与预先设定的下一层偏差密码本中的每个第二编码或第二编码对应的第二标准编码进行比较,确定所述下一层偏差密码本中与所述当前层编码偏差相似度最高的第二编码对应的第二目标编码,并基于所述第二目标编码确定下一层目标编码。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海稀宇极智科技有限公司,其通讯地址为:200233 上海市徐汇区虹漕路25-1号2层896室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励