买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川准达信息技术股份有限公司申请的专利一种针对行业应用的大模型定制化训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120492599B 。

龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510986130.5，技术领域涉及：G06F16/3329；该发明授权一种针对行业应用的大模型定制化训练方法及系统是由奂剑刚设计研发完成，并于2025-07-17向国家知识产权局提交的专利申请。

本一种针对行业应用的大模型定制化训练方法及系统在说明书摘要公布了：本申请公开了一种针对行业应用的大模型定制化训练方法及系统，主要涉及大模型技术领域，用以解决现有技术面临着如何准确切分术语、如何理解协议文档中的层级关系、如何增强模型对低频技术点的学习、无法有效适应通信领域复杂文档的特征，从而导致了模型在实际应用中的效果不稳定的问题。包括：采用预设术语重要性掩码作为大模型注意力权重的偏置项，将预设专业术语token在注意力得分矩阵中调整为预设提升值，并在每一行仅保留Top‑k最大注意力值；采用动态焦点损失函数，参与大模型参数自适应损失计算；迭代训练大模型，获得预训练好的大模型；在预训练完成后，采用对比学习进行领域自适应，获得训练完成的大模型。

本发明授权一种针对行业应用的大模型定制化训练方法及系统在权利要求书中公布了：1.一种针对行业应用的大模型定制化训练方法，其特征在于，所述方法包括： 通过预设训练资源数据库，获得通信行业的原始语料；对原始语料进行切分，从切分出的原始段落中获得段落问题和段落答案；利用段落问题和段落答案，构建问答语料集； 将问答语料集输入基于动态词典匹配的层次化解码算法，获得问答语料集中每个输入位置的预设最优切分结果，进而完成问答语料集中段落问题和段落答案的术语切分； 所述将问答语料集输入基于动态词典匹配的层次化解码算法，通过在每个输入位置，向后查找预设长度的字符子串；其中，预设长度为不超过最大切分长度； 依次计算字符子串作为候选术语的语言模型生成概率，获取字符子串在通信行业领域术语词典中的优先级得分；进而确定选择综合得分最高的字符子串作为输入位置的最优切分结果； 其中，整个输入问答语料集的最优切分结果，具体为：通过公式： ，计算最优切分结果；其中，为第个输入位置的最优切分结果；表示正整数； 表示在约束条件下选择使目标函数最大化的候选术语； 为第个候选切分术语，搜索范围是输入序列中从第个输入位置开始的子串； 表示候选术语需属于通信行业领域术语词典； 为通信行业领域术语词典； 为最大切分长度； 为术语优先级系数； 为预训练语言模型的条件概率； 为当前候选术语的前个字符组成的子序列； 为当前待预测的第个字符； 表示基于前缀生成当前字符的语言模型概率； 为以自然常数为底的指数函数； 为术语在词典中的优先级排序函数； 表示术语在中的优先级序号； i为正整数，用于量化第i个输入位置的最优切分结果； j为正整数，用于量化第j个候选切分术语； 基于依存句法树的语义骨架增强算法，将问答语料集中段落问题中的预设修饰参数进行抽样替换，构建表述不同的新段落问题，并保存至问答语料集中；通过对段落问题进行依存句法分析，识别其中的主谓宾核心结构与技术术语构成的语义骨架，冻结结构不变，并在预设修饰参数节点处从同语境参数词表中抽样替换，构造语义连贯但表述不同的新段落问题；其中，新段落问题生成公式为： ，式中，为新段落问题； 为原始段落问题； 为的依存句法树； 为经术语切分后提取的核心术语集合； 表示用参数词表中的词替换语法树中预设修饰参数； 为同语境参数词表，表征同语境下的可替换预设修饰参数词集合； 基于问答语料集内段落问题中各词语的全局位置与所在层次段落中的相对位置，大模型进行加权融合获得位置编码；采用预设术语重要性掩码作为大模型注意力权重的偏置项，将预设专业术语token在注意力得分矩阵中调整为预设提升值，并在每一行仅保留Top-k最大注意力值；采用动态焦点损失函数，参与大模型参数自适应损失计算；迭代训练大模型，获得预训练好的大模型；在预训练完成后，采用对比学习进行领域自适应，获得训练完成的大模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川准达信息技术股份有限公司，其通讯地址为：610000 四川省成都市高新区天府二街138号1栋11楼1101号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。