买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院信息工程研究所申请的专利一种基于层级对比学习知识增强对话系统训练的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117370516B 。

龙图腾网通过国家知识产权局官网在2025-11-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311307235.0，技术领域涉及：G06F16/3329；该发明授权一种基于层级对比学习知识增强对话系统训练的方法是由韩言妮;王侃;张雯;丁颖;江涵设计研发完成，并于2023-10-10向国家知识产权局提交的专利申请。

本一种基于层级对比学习知识增强对话系统训练的方法在说明书摘要公布了：本发明涉及一种基于层级对比学习知识增强对话系统训练的方法，其方法包括：首先，选择对话数据和知识数据并对对话数据和知识数据进行处理得到语言模型的输入数据；其次，语言模型依照输入数据生成回复，生成回复的过程包括选取合适的语言模型处理数据和选取合适的解码算法生成回复；最后，使用层级对比学习及其扩展回传梯度更新模型参数。在使用预训练语言模型的基础上，在训练过程中为模型施加层级对比学习约束及其扩展锚点损失约束。在保证语言语法层面质量的基础上改善文本词表示、整合知识和对话文本空间并且调整知识神经元分布，从而提升对话系统对外部知识使用准确度，进而提升对话回复生成质量。

本发明授权一种基于层级对比学习知识增强对话系统训练的方法在权利要求书中公布了：1.一种基于层级对比学习知识增强对话系统训练的方法，其特征在于，所述方法具体包括以下步骤： 步骤一，选择对话数据和知识数据并对对话数据和知识数据进行处理得到语言模型的输入数据； 步骤二，语言模型依照输入数据生成回复，生成回复的过程包括选取合适的语言模型处理数据和选取合适的解码算法生成回复； 步骤三，使用层级对比学习及其扩展回传梯度更新模型参数； 选择transformer系列的预训练语言模型作为语言模型；解码算法选择搜索算法或者采样算法； Transformer系列预训练语言模型通过堆叠多层多头注意力机器计算实现数据的处理，每个transformer层都会输出相同形状的张量，利用所述张量约束训练模型； 在训练过程中，使用三类损失函数，第一类损失函数使用语言模型的最大似然损失，计算过程如下： 其中，为最大似然损失，为模型输出，为概率分布，最大似然函数的实现选择负对数似然损失函数； 第二类损失函数使用层级对比损失；在语言模型最后一个transformer层将语言模型最终输出直接作为一批可对比的样本，将每个词与同一句中的所有词进行对比，为输出的所有词表示计算与其余各词的相似度，得出相似度矩阵，用相似度矩阵中的相似度值计算对比损失，对比损失函数定义为： 其中，表示在隐藏层的表示，和是词的位置序号，为相似度计算函数，最小化损失函数的过程就是最大化后式，即同时最大化正样本的相似度和最小化负样本的相似度； 第三类损失函数为层级对比损失的扩展方法得到的损失，即锚点损失；为输出的所有词表示计算与其余各词的相似度，得出相似度矩阵；用相似度矩阵中的相似度值计算对比损失，锚点损失函数与层级对比损失联合定义为： 其中，和分别表示第和个词本身，表示和层级对比损失在一样的层上进行计算的损失，锚点损失与层级对比损失的所有层都进行配对的使用，表示在隐藏层的表示，和是词的位置序号，为相似度计算函数，最小化损失函数的过程就是最大化后式，即同时最大化正样本的相似度和最小化负样本的相似度； 此时，损失函数的计算就是将它们直接相加，计算公式如下： 其中，为transformer层添加损失约束的层数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院信息工程研究所，其通讯地址为：100093 北京市海淀区闵庄路甲89号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。