买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州大学申请的专利基于远程监督和知识蒸馏的差异感知回复生成方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116775840B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310794764.1，技术领域涉及：G06F16/3329；该发明授权基于远程监督和知识蒸馏的差异感知回复生成方法及系统是由陈羽中;郑旭;陈子阳设计研发完成，并于2023-06-30向国家知识产权局提交的专利申请。

本基于远程监督和知识蒸馏的差异感知回复生成方法及系统在说明书摘要公布了：本发明涉及一种基于远程监督和知识蒸馏的差异感知回复生成方法及系统，该方法包括以下步骤：步骤A：在社交平台中采集自然的、开放领域的对话，并使用检索系统在维基百科中检索该对话相关的背景知识，并标注真实回复的标签，以此来构建训练数据集DE；步骤B：使用训练数据集DE，训练基于远程监督和知识蒸馏的深度学习网络模型M，通过此模型选择需要的背景知识，并根据选择的背景知识生成回复；步骤C：将对话上下文、背景知识库输入到训练好的深度学习网络模型M中，生成对应的回复。该方法及系统有利于提高生成回复的准确性。

本发明授权基于远程监督和知识蒸馏的差异感知回复生成方法及系统在权利要求书中公布了：1.一种基于远程监督和知识蒸馏的差异感知回复生成方法，其特征在于，包括以下步骤： 步骤A：在社交平台中采集自然的、开放领域的对话，并使用检索系统在维基百科中检索该对话相关的背景知识，并标注真实回复的标签，以此来构建训练数据集DE； 步骤B：使用训练数据集DE，训练基于远程监督和知识蒸馏的深度学习网络模型M，通过此模型选择需要的背景知识，并根据选择的背景知识生成回复； 步骤C：将对话上下文、背景知识库输入到训练好的深度学习网络模型M中，生成对应的回复； 所述步骤B具体包括以下步骤： 步骤B1：对训练数据集DE中的所有训练样本进行初始编码，从而得到本轮对话上文的句子表示向量本轮真实回复的句子表示向量本轮的候选知识的句子表示向量 步骤B2：将步骤B1得到的本轮对话上文的句子表示向量以及本轮真实回复的句子表示向量通过GRU编码得到对话历史信息表示将候选知识的句子表示向量通过BiGRU进行编码得到带有句间关系信息的向量表示rt； 步骤B3：将先前M轮模型选择的候选知识的句子表示与步骤B2中得到的带有句间关系信息的当前轮次的候选知识向量表示rt进行差异计算，并根据轮次的先后通过基于时间衰减的加权函数对不同轮次的差异信息进行求和，得到候选知识的差异信息表示 步骤B4：采用远程监督方法，通过计算候选知识和真实回复之间的F1分数来获取伪真实知识的概率分布并取概率最大的知识作为伪真实知识 步骤B5：采用知识蒸馏方法，学生知识选择器采用上一轮的对话历史信息和本轮的对话上文的句子表示向量作为查询向量，教师知识选择器的查询向量中额外添加了真实回复向量，再将本轮的候选知识的句子表示向量与步骤B3中得到的差异信息表示进行连接作为教师选择器和学生选择器的键向量，分别计算两者的注意力得分，将得分最高的知识作为两个选择器选择的知识，训练学生选择器的分布逼近教师选择器的分布，并将学生选择器选择的知识作为本轮选择的知识； 步骤B6：采用基于自步学习的两阶段训练策略，根据不同的训练阶段分别将本轮选择的知识或伪真实知识对话上文信息输入解码器生成本轮次的回复，具体的，预训练阶段采用步骤B4得到的伪真实知识进行训练，微调阶段采用自步学习策略，根据评分函数的大小来决定采用伪真实知识或本轮选择的知识将选择的知识、上下文信息输入解码器，生成本轮的回复yt； 步骤B7：当深度学习网络模型每次迭代产生的损失值变化小于所给定阈值、或者达到最大迭代次数，则终止深度学习网络模型的训练过程； 所述步骤B4具体包括以下步骤： 步骤B41：通过计算候选知识与真实回复之间的F1分数获取伪真实知识的概率分布并取概率最大的知识作为伪真实知识计算过程如下： 所述步骤B5具体包括以下步骤： 步骤B51：学生知识选择器使用步骤B21得到的对话历史信息和步骤B12得到的本轮的对话上文向量进行拼接作为查询，将步骤B14得到的候选知识向量和步骤B32得到的差异信息表示作为键，通过计算attention分数得到选择知识的概率分布计算过程如下： 其中，tanh·是激活函数，Wstuque，Wstukey，vT是可训练的参数； 步骤B52：将步骤B51获得的学生知识选择分布进行归一化操作，并取概率最大的知识作为本轮知识选择器的选择知识计算过程如下： 其中，softmax是归一化函数，argmax是求函数最大值对应的自变量的函数； 步骤B53：教师知识选择器使用步骤B21得到的结合本轮真实回复的对话上下文信息作为查询，将步骤B14得到的候选知识向量和步骤B32得到的差异信息表示作为键，通过计算attention分数得到选择知识的概率分布计算过程如下： 其中，tanh·是激活函数，Wteaque，Wteakey，vT是可训练的参数； 步骤B54：采用步骤B41获得的伪真实知识标签和置信度权重并通过交叉熵损失对学生知识选择器进行训练，计算过程如下： 其中，表示交叉熵损失，是伪真实知识标签的置信度权重，表示学生知识选择器的选择分布； 步骤B55：采用步骤B41获得的伪真实知识标签和置信度权重并通过交叉熵损失对教师知识选择器进行训练，计算过程如下： 其中，表示交叉熵损失，是伪真实知识标签的置信度权重，表示教师知识选择器的选择分布； 步骤B56：通过最小化蒸馏损失训练学生知识选择器的选择分布拟合教师知识选择器的选择分布，计算过程如下： 其中，为学生选择分布和教师选择分布的KL散度； 步骤B57：将步骤B54的学生选择器损失、步骤B55的教师选择器损失、步骤B56的蒸馏损失相加作为知识选择器的整体损失，计算过程如下：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。