杭州电子科技大学林菲获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州电子科技大学申请的专利一种基于关系图注意力网络的多轮对话回复生成系统及方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114281954B 。
龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111044215.X,技术领域涉及:G06F16/3329;该发明授权一种基于关系图注意力网络的多轮对话回复生成系统及方法是由林菲;钱朝辉;张聪设计研发完成,并于2021-09-07向国家知识产权局提交的专利申请。
本一种基于关系图注意力网络的多轮对话回复生成系统及方法在说明书摘要公布了:本发明属于自然语言生成的计算机人工智能领域,公开了一种基于关系图注意力网络的多轮对话回复生成系统及方法。包括:获取多轮对话输入内容进行预处理,获得每轮话语自身语义信息表示,再对每轮话语语句语义信息进行编码,从而得到对话上下文的语义表示;接着采用图注意力网络捕获多轮对话中的自相关性以及对话者之间的相关特征,并且在图注意力网络中引入关系位置编码来说明包含话语的序列信息,从而得到图编码层的高级语义表示;最后将对话上下文语义信息表示和关系图注意力编码的高级语义表示作为输入,使用GRU模型进行解码生成最终的对话回复输出表示。本发明显著地提高了多轮对话回复生成的质量,使得生成的回复更加连贯且有意义。
本发明授权一种基于关系图注意力网络的多轮对话回复生成系统及方法在权利要求书中公布了:1.一种利用基于关系图注意力网络的多轮对话回复生成系统进行多轮对话回复生成的方法,所述基于关系图注意力网络的多轮对话回复生成系统,包括语句输入编码层、图编码层以及解码层,其特征在于,所述语句输入编码层包括词级别编码器和话语级别编码器;所述词级别编码器对模型输入的每轮话语中的词进行编码,从而获取该轮话语自身的语义表示;所述话语级别编码器对模型的话语自身语义表示进行编码,从而获取整个对话上下文语义信息表示;所述图编码层首先采用图注意力网络捕获多轮对话中话语的自相关性以及对话者之间的相关性特征,其次引入关系位置编码来说明话语之间包含的序列信息;所述解码层根据输入的上下文语义信息表示和图编码层的高级语义表示生成响应回复;其特征在于,所述方法包括如下步骤: 步骤一:获取多轮对话输入内容进行预处理,将每轮话语中的词语义信息通过预训练的BERT模型转化为对应的向量表示,从而获得每轮话语自身语义表示,再通过Bi-GRU模型对每轮话语语句语义信息进行编码,从而得到对话上下文语义信息表示; 步骤二:采用图注意力网络捕获多轮对话中的自相关性以及对话者之间的相关性特征,并且在图注意力网络中引入关系位置编码来说明话语之间包含的序列信息,从而得到图编码层的高级语义表示; 获得图编码层的高级语义表示包括如下步骤: 对多轮对话中M条语句构建有向图并进行以下定义: 将多轮对话中每条语句定义为节点每条语句之间的关系依赖信息定义为边r,vi,r,vj∈ε,其中边的权重定义为 1首先将上下文编码层所输出的上下文语义表示作为节点vi的初始向量表示; 2基于节点构建信息边r,将信息边r的类型进行如下4种区分定义:a信息边r=1:self-before类型:目标话语与该话语发出者之前的话语关系依赖类型信息;b信息边r=2:inter-before类型:目标话语与除该话语发出者以外的之前话语关系依赖类型信息;c信息边r=3:self-after类型:目标话语与该话语发出者之后的话语关系依赖类型信息;d信息边r=4:inter-after类型:目标话语与除该话语发出者以外的之后话语关系依赖类型信息; 3使用关系位置编码的方法来捕获这四种类型信息边话语之间时序信息; 关系位置编码过程由以下公式表示: 其中PEijr表示在关系类型r=1、2、3、4下目标话语ui与其相邻话语uj之间的关系距离,最大关系值介于[b,a]之间,b与a为目标话语与其他话语的前后滑动窗口值,表示在关系类型r=1、2、3、4下目标话语ui的邻域; 4计算相关信息边的权重,其公式表示如下: 其中αijr表示在关系类型r下目标话语ui与其相邻话语uj之间的边权重值,Wr为注意力机制下的参数化加权矩阵,ar为参数化权向量,·T代表转置,LRL为LeakyReLU激活函数; 5通过聚合邻域的信息来更新每个节点的向量表示图传播机制编码过程由以下公式表示: 其中为可训练参数加权矩阵,L为卷积层数,最后输出得到图编码层的高级语义表示 步骤三:将对话上下文语义信息表示和关系图注意力编码的高级语义表示作为输入,使用GRU模型进行解码生成最终的对话回复输出表示。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市下沙高教园区2号大街;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。