买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院信息工程研究所申请的专利一种引入连续潜变量的多样性回复生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117370515B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311305321.8，技术领域涉及：G06F16/3329；该发明授权一种引入连续潜变量的多样性回复生成方法是由韩言妮;王侃;江涵;张雯;丁颖设计研发完成，并于2023-10-10向国家知识产权局提交的专利申请。

本一种引入连续潜变量的多样性回复生成方法在说明书摘要公布了：本发明提供一种引入连续潜变量的多样性回复生成方法。包括以下步骤：步骤S1：处理对话数据，构建输入对话数据：将所有对话视作连续文本，以每次切换说话者作为分割，依照对话先后顺序交替给出对话数据，从而构建出输入对话数据。步骤S2：对话行为识别：将对话输入选定的BERT语言模型，利用BERT语言模型的输出计算当前对话行为，在代表对话行为接入四个全连接神经网络即构建transformer模型，使用模型识别当前对话行为；步骤S3：输出回复生成：使用步骤S2的transformer模型的对话行为识别部分计算得出的对话行为值，生成候选回复，然后验证候选回复正确概率选择最终回复结果。

本发明授权一种引入连续潜变量的多样性回复生成方法在权利要求书中公布了：1.一种引入连续潜变量的多样性回复生成方法，其特征在于，包括以下步骤： 步骤S1：处理对话数据，构建输入对话数据：将所有对话视作连续文本，以每次切换说话者作为分割，依照对话先后顺序交替给出对话数据，从而构建出输入对话数据； 步骤S2：对话行为识别；将对话输入选定的BERT语言模型，利用BERT语言模型的输出计算当前对话行为，当前对话行为接入四个全连接神经网络即构建transformer模型，使用模型识别当前对话行为； 步骤S3：输出回复生成；使用步骤S2的transformer模型的对话行为识别部分计算得出的对话行为值，生成候选回复，然后验证候选回复正确概率选择最终回复结果； 步骤S1中的具体实现方式如下，一组n轮的对话，将其拆分为n-1个数据样本；第一个样本将第二句话作为标签，之前的对话作为输入；第二个样本将第三句作为标签，之前的对话都作为输入，以此类推；还在不同的对话者的话语之前分别使用两个特殊字符[speaker-o]和[speaker-s]进行标记； 在步骤S2中，使用transformer模型，transformer模型的输入为，其中，分别由对话行为，对话上下文和对话回复组成；经过输入模型的嵌入层后输入主干模型中，主干模型由12个transformer块堆叠而成，输出为，是对应每个输入的隐藏层表示，其中为句子长度； transformer模型的训练过程如下： 训练过程分为潜在行为识别子阶段和训练回复生成子阶段； 子阶段1潜在行为识别： 潜在行为识别子阶段的注意力掩码是使用全为1的矩阵进行的，输入的所有词都将在transformer块中计算与其他词的相关分数，所有词对于其它词都是可见的； 潜在行为识别子阶段中，首先会设定一个行为总数K，表示最多有K种对话行为，模型会收到完整的输入，包括对话行为、对话上下文和对话回复，目标为识别潜在的行为，也就是估计后验分布；具体实现方式为：在的输出部分，接入一个简单全连接神经网络，通过函数计算每种行为的概率，选出概率最大的行为，值的计算公式如下： 其中，为第一个全连接神经网络参数，为神经网络偏置值； 潜在行为识别子阶段还要计算回复选择损失，回复选择损失判断的是对话上下文和对话回复的匹配程度，使用交叉熵来计算损失，计算公式如下： 其中，为正样本的输出值，为负样本的输出值，为对话回复负样本，的计算方式公式如下： 其中，为第二个全连接神经网络参数，为神经网络偏置值； 这里的正样本就是直接将正确的对话回复与对话上下文拼接得到的输入，而负样本是随机抽取一个句子与对话上下文进行拼接得到； 引入连续潜变量，输入为隐藏表示，具体步骤如下： ①首先从标准高斯分布中采样一个样本； ②样本的均值由神经网络计算，其中是全连接神经网络的参数，是全连接神经网络的偏置值； ③样本的方差由神经网络计算，其中是全连接神经网络的参数，是全连接神经网络的偏置值； ④此步骤采用重参数方法，由此可以获得一个给定高斯分布中的采样样本，给定均值、标准差和样本值经计算公式如下： ⑤此处计算分布的选择方式，选择向量由神经网络计算，其中是全连接神经网络的参数，是全连接神经网络的偏置值； ⑥此处对分布进行选择，用抽样出的对话行为与选择向量做点乘运算，p，选择最后的对话行为； 子阶段2训练回复生成： 回复生成子阶段的注意力掩码在对话上下文的部分是全为1的，而在回复的部分是1的下阶梯矩阵，在生成下一个词的时候，只能看到对话上下文内容和已生成的部分句子； 将潜在行为识别子阶段计算出的值与对话上下文和对话回复一同输入模型，计算两个损失函数负对数似然损失和词袋损失，的计算出自于对话回复对应的隐藏层输出，计算公式如下： 其中，是生成的步数，为生成总步数，是前个生成步已生成的回复，是第个生成步将要生成的词； 而的计算出自于对话行为对应的隐藏层输出，计算公式如下： 其中，是表示词典，而表示词表中的词；是通过一个全连接神经网络以非自回归方式预测下一个词，其计算公式如下： 其中，是第三个神经网络参数，是第三个神经网络的偏置值； 对模型参数进行优化：将所有损失函数相加得到最终损失，使用反向传播更新参数，计算公式如下：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院信息工程研究所，其通讯地址为：100093 北京市海淀区闵庄路甲89号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。