买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉拓锐科技有限公司申请的专利一种大语言模型训练方法、系统及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120851132B 。

龙图腾网通过国家知识产权局官网在2025-11-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511360741.5，技术领域涉及：G06N3/096；该发明授权一种大语言模型训练方法、系统及装置是由周言;马成龙设计研发完成，并于2025-09-23向国家知识产权局提交的专利申请。

本一种大语言模型训练方法、系统及装置在说明书摘要公布了：本发明提供了一种大语言模型训练方法、系统及装置，涉及电数字处理技术领域，包括将领域文本训练集划分为若干份训练样本集；根据每个训练样本集内分词的语义变化和频次计算得到每个训练样本集对应的训练关注度；基于所有训练关注度进行最大最小归一化得到每个样本集对应的需求系数；通过LoRA法和所有训练样本集对预设的大语言模型进行多轮微调训练，得到目标大语言模型，多轮微调训练中的秩由需求系数进行调整得到。本发明利用领域文本和通用文本作为对比。通过分析分词在两种文本中的出现频率和语义差异，判断分词是否更多用于专业领域，以此确定训练样本的专业化程度，并针对性分配计算资源进行学习能提升了计算资源分配的准确性。

本发明授权一种大语言模型训练方法、系统及装置在权利要求书中公布了：1.一种大语言模型训练方法，其特征在于，所述方法包括： 获取领域文本； 将所述领域文本进行预处理，得到领域文本训练集； 将所述领域文本训练集划分为若干份训练样本集，所述训练样本集分为初始化样本集或自适应性样本集； 根据每个所述训练样本集内分词的语义变化和频次计算得到每个训练样本集对应的训练关注度； 基于所有所述训练关注度进行最大最小归一化得到每个所述样本集对应需求系数； 通过LoRA法和所有所述训练样本集对预设的大语言模型进行多轮微调训练，得到目标大语言模型，多轮所述微调训练中首先利用初始化样本集进行初始化训练，其次利用自适应性样本集进行自适应性训练，所述初始化训练的秩为预设初始数值，每轮所述自适应性训练的秩由需求系数进行调整得到； 根据每个所述训练样本集内分词的语义变化和频次计算得到每个训练样本集对应的训练关注度，包括： 根据每个目标分词在所述领域文本和通用文本的出现次数差异计算得到领域趋向度，所述目标分词为一训练样本集内任意一词向量对应的分词，所述通用文本为预设的所述大语言模型的训练数据集； 根据每个所述目标分词在所述领域文本和通用文本中的含义变化计算得到语义一致性评估值； 根据每个所述目标分词的领域趋向度和语义一致性评估值进行相乘计算得到每个所述目标分词对应的关注度； 基于每个所述目标分词对应的关注度进行均值计算得到训练关注度； 自适应性训练中秩的计算方法如下： 根据第一样本集在所有已训练样本集内提取，得到第二样本集和若干份相似训练样本集，所述相似训练样本集与第一样本集对应的训练关注度差异小于预设阈值，所述第一样本集为一个未曾用于自适应性训练的自适应样本集，所述第二样本集为已用于自适应性训练的自适应样本集，所述第一样本集和所述第二样本集的自适应性训练轮次相邻； 根据所述第二样本集和每个相似训练样本集对应的微调矩阵之间的变化差异计算得到趋势度值； 基于趋势度值、所述第二样本集和所述第一样本集对应的训练关注度计算得到调整幅度； 基于所述调整幅度对所述第一样本集对应的训练关注度进行修正得到第一样本集在修正后的训练关注度； 基于第一样本集在修正后的训练关注度和预设额定秩计算得到第一样本集在自适应性训练的秩。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人拓锐科技有限公司，其通讯地址为：250000 山东省济南市高新区经十路7000号汉峪金融商务中心五区5号楼1单元28层2801号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。