中国科学院深圳先进技术研究院卢美情获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学院深圳先进技术研究院申请的专利一种融合多头注意力对齐的文本匹配方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115408494B 。
龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210875264.6,技术领域涉及:G06F16/334;该发明授权一种融合多头注意力对齐的文本匹配方法是由卢美情;申妍燕;王书强设计研发完成,并于2022-07-25向国家知识产权局提交的专利申请。
本一种融合多头注意力对齐的文本匹配方法在说明书摘要公布了:本发明公开一种融合多头注意力对齐的文本匹配方法。该方法包括:构建文本匹配模型,包括输入层、BERT编码层、交互式句子表示层、融合层和全连接层;基于设定的损失函数训练文本匹配模型;利用经训练的文本匹配模型估计目标文本间的匹配程度。其中输入层以第一句子和第二句子两个句子作为输入;BERT编码层以对应句子的字符级向量、位置向量和分段向量的叠加向量作为输入,提取具有语义信息的隐藏层向量;交互式句子表示层基于隐藏层向量进行句向量间的注意力交互,以分别提取两个句子的交互特征;融合层对两个句子的交互特征进行融合,得到特征融合向量;全连接层基于特征融合向量,获得句子间的匹配结果。本发明能提高文本匹配的准确性。
本发明授权一种融合多头注意力对齐的文本匹配方法在权利要求书中公布了:1.一种融合多头注意力对齐的文本匹配方法,包括以下步骤: 利于语言模型SBERT构建文本匹配模型,该文本匹配模型依次包括输入层、BERT编码层、交互式句子表示层、融合层和全连接层; 基于设定的损失函数训练所述文本匹配模型; 利用经训练的所述文本匹配模型估计目标文本间的匹配程度; 其中: 输入层以第一句子和第二句子两个句子作为输入,并采用字符级向量、位置向量和分段向量对句子进行表征; BERT编码层以对应句子的字符级向量、位置向量和分段向量的叠加向量作为输入,提取具有语义信息的隐藏层向量; 交互式句子表示层基于所述隐藏层向量进行句向量间的注意力交互,以分别提取两个句子的交互特征; 融合层通过计算第一句子与第二句子的交互特征向量之间的差和乘积进行拼接,得到特征融合向量; 全连接层基于所述特征融合向量,获得句子间的匹配结果; 其中,所述交互式句子表示层首先计算两个句子之间的相似度,并使用注意力机制分别对每个句子进行编码,表示为: 其中,为第一句子A经过BERT编码层后的隐藏层语义向量的转置,为第二句子B经过BERT编码层后的隐藏层语义向量,表示第一句子A中第i个词和第二句子B中第j个词的相似度,表示经过注意力交互后提取出的第一句子A与第二句子B的相似性信息,表示经过注意力交互后提取出的第二句子B与第一句子A的相似性信息,对和分别进行平均池化得到两个句子的交互特征,表示第一句子A包含的词的数量,表示句子B包含的词的数量,表示第一句子A中第i个词和整个句子B的相似度,表示第二句子B中第j个词和整个句子A的相似度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学院深圳先进技术研究院,其通讯地址为:518055 广东省深圳市南山区深圳大学城学苑大道1068号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。