Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 桂林电子科技大学;中国电子科技集团公司第五十四研究所强保华获国家专利权

桂林电子科技大学;中国电子科技集团公司第五十四研究所强保华获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉桂林电子科技大学;中国电子科技集团公司第五十四研究所申请的专利基于孪生交互和微调表示的中文语义匹配方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115345175B

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211083256.4,技术领域涉及:G06F40/30;该发明授权基于孪生交互和微调表示的中文语义匹配方法是由强保华;席广勇;王玉峰;李宝莲;陈金勇设计研发完成,并于2022-09-06向国家知识产权局提交的专利申请。

基于孪生交互和微调表示的中文语义匹配方法在说明书摘要公布了:本发明公开了一种基于孪生交互和微调表示的中文语义匹配方法,首先以RoBERTa‑WWM‑EXT预训练模型完成文本的向量初始化,针对初始特征向量构造内嵌了软对齐注意力机制SA‑Attention和BiLSTM训练层的孪生结构,用以增强句对之间的语义交互性。其次将两个待匹配文本连接起来接入RoBERTa‑WWM‑EXT预训练模型进行向量化,将连接的向量化结果输入LSTM‑BiLSTM网络层做增强训练,用以强化句子内部的上下语义关系。然后搭建可微调RoBERTa‑WWM‑EXT初始向量的训练模型,用以产生经过标签监督微调的文本向量,从而进一步增强向量对文本间语义关系的表示力度,最终达到提升中文语义匹配准确率的目的。

本发明授权基于孪生交互和微调表示的中文语义匹配方法在权利要求书中公布了:1.一种基于孪生交互和微调表示的中文语义匹配方法,其特征在于,所述方法包括以下步骤: 1将两个待匹配的文本S1和S2各自接入RoBERTa-WWM-EXT预训练模型,然后分别提取RoBERTa-WWM-EXT预训练模型的Pooler_out层的输出向量S1vec、S2vec,其中S1vec、S2vec分别为文本S1、S2的初步特征向量表示; 2将向量S1vec、S2vec交叉输入内嵌了软对齐注意力机制和BiLSTM训练层的孪生结构;在软对齐注意力机制处理过程中,首先计算S1vec和S2vec的注意力打分函数,然后利用SoftMax函数计算最终的注意力分布函数P,再分别与向量S1vec、S2vec求积计算得出相应的加权分布向量和向量 分别与原始向量S1vec、S2vec相加,最终输出向量表示为Avec1、Avec2;将输出向量Avec1、Avec2分别接入BiLSTM网络层,最终经过融合产生文本S1、S2在两个孪生子通道所分别对应的特征向量表示SiaVec1、SiaVec2;针对向量SiaVec1、SiaVec2进行对应项相减、相乘,并将结果连接,公式描述为SiaVec=[|SiaVec1-SiaVec2|,SiaVec1⊙SiaVec2],SiaVec为文本S1、S2经过孪生结构产生的交互向量; 3将文本S1、S2连接为单句文本,公式为Sen=[[CLS]S1[SEP]S2[SEP]],[CLS]为文本的开头标识,[SEP]为两文本的间隔标识,Sen即为两文本连接的单句型文本;将Sen输入到RoBERTa-WWM-EXT模型,提取模型的Pooler_out输出层向量Pvec作为Sen的向量表示;将向量Pvec接入LSTM层,得到向量Lvec;将向量Lvec与原始向量Pvec连接,然后将此连接向量接入BiLSTM层,最终得到文本S1、S2经过LSTM-BiLSTM结构产生的特征向量LBvec; 4在RoBERTa-WWM-EXT预训练模型的基础上添加线性转换层和SoftMax激活层,搭建一个可微调文本S1、S2的初始向量的表示参数的句对预分类模型;首先提取RoBERTa-WWM-EXT的Pooler_out输出层向量Pvec,然后将Pvec接入一个线性转换层,公式为LWvec=Pvec·WT+Bias,其中W为向量Pvec进行线性转换的权重矩阵,Bias为函数的偏置,LWvec为Pvec经过线性转换后的向量表示;然后将向量LWvec经过SoftMax激活层,公式为其中PLWvec为最终的文本对匹配结果;将数据集接入搭建完成的句对预分类结构,训练产生句对预分类模型PTM,提取Logits输出层作为文本对的微调型的特征向量,公式为LGvec=[PTM[Sen]]Logits,其中LGvec为文本S1、S2的微调表示型特征向量; 5在前面的步骤中,文本S1、S2经过孪生结构、LSTM-BiLSTM网络层以及微调结构,分别产生了相应的向量表示SiaVec、LBvec和LGvec;首先将向量SiaVec、LBvec连接,参与MLP的layer1、layer2前两个全连接层的训练,公式为RL2为两个全连接层的输出向量;然后再将向量LGvec与RL2连接,接入MLP的layer3全连接层产生向量RL3,针对向量RL3使用激活函数Sigmoid,公式为R为中文文本S1、S2的语义匹配结果。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人桂林电子科技大学;中国电子科技集团公司第五十四研究所,其通讯地址为:541004 广西壮族自治区桂林市七星区金鸡路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。