买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京计算机技术及应用研究所申请的专利基于变体注意力及层次结构的业务文书信息抽取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115098673B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210566712.4，技术领域涉及：G06F16/35；该发明授权基于变体注意力及层次结构的业务文书信息抽取方法是由陈炫言;白雄文;王红艳;周益周;郭旭东设计研发完成，并于2022-05-23向国家知识产权局提交的专利申请。

本基于变体注意力及层次结构的业务文书信息抽取方法在说明书摘要公布了：本发明涉及一种基于变体注意力及层次结构的业务文书信息抽取方法，属于自然语言处理领域。本发明首先对文书首先进行分类处理，将数据处理为模型所需的监督训练数据，输入到基于变体注意力及层次结构网络模型中进行训练，利用层次网络结构分别对词级、句级、段落级文书信息进行特征提取；将所需抽取信息的文书及所需抽取文书内容的标签作为输入，喂入已训练好的层次变体注意力网络模型中进行信息抽取；统计，最后对抽取的信息进行统计分析。本发明实现业务文书信息精确抽取技术，最终通过该技术抽取出文书信息后再对文书信息进行统计分析，实现专项业务相关信息抽取。

本发明授权基于变体注意力及层次结构的业务文书信息抽取方法在权利要求书中公布了：1.一种基于变体注意力及层次结构的业务文书信息抽取方法，其特征在于，该方法包括如下步骤： 步骤一：训练，首先对大批量文书进行分类处理，将分类好的文书处理为监督训练格式，将处理好的数据输入到层级式变体注意力神经网络模型中进行训练，分别对词级、句级、段落级的文本进行特征提取； 步骤二：预测，将需要提取的文书作为输入数据喂入训练完成的层级式变体注意力神经网络模型中，同时将需要抽取的信息标签作为输入，让训练好的模型进行信息抽取，在文书中找到最相关的词、句或段落； 步骤三：统计，对抽取出来的信息进行统计分析； 其中， 所述步骤一中的层级式变体注意力神经网络模型包括词级模块、句级模块、段落级模块以及softmax层模块； 所述词级模块包括： Embedding：文本数据通过Embedding层，将中文字符转化成词向量Vector； WordEncoder：编码层接收到Embedding层传来的词向量，通过双向的LSTM对词向量进行编码，获取到每个词的的双向语义特征作为特征向量； WordAdaptiveAttention：将特征向量输入变体注意力模型，通过变体注意力机制，对一个词的上下文关系进行连接，并且通过AdaptiveAttention能够增加关联词之间的距离，计算出每个词的词间关系权重； 所述句级模块包括： SentenceEncoder：通过词级Embedding、WordEncoder和WordAdaptiveAttention获取到了每个词的特征向量，将每句话中每个词的特征向量进行矩阵相加的方式进行连接，从而将每句话中词级的特征构建成为句级特征S1、S2、…、Sn，n是文档中的句子数目；并且同样通过双向LSTM网络的模型进行编码来获取每个句子的语义信息，即通过词向量拼接得到句级别特征向量； SentenceAdaptiveAttention：通过注意力机制，对一句话的上下文关系进行连接，并且同样通过AdaptiveAttention注意力机制，获取句级别特征向量之间的联系，计算每句话的关系权重； 所述段落级模块包括： SegmentEncoder：通过SentenceEncoder及SentenceAdaptiveAttention构建句级关系得到句级别特征向量，将每段中的每句话的句级别特征向量同样通过矩阵拼接的方式得到每个段落的段级特征P1、P2、…、Pm，m为段落数量；再次使用双向LSTM对段级特征进行编码来获取每个段落的语义信息作为段级别特征向量； SegmentAdaptiveAttention：通过AdaptiveAttention注意力机制，获取段级别特征向量之间的联系，计算每段话的关系权重； 所述softmax层模块用于将词、句、段之间的关系权重，通过softmax层进行分类，首先找到概率最高的段落，在该段落中找到概率最高的句子，在该句子中找到概率最大的词；语句通过从词级计算，句级计算，段级计算，再通过softmax进行归一化进行概率计算，通过上述计算，可以匹配到全文相关的段落，在该段落中查找到概率最高的句子，最后计算出最相关的token即最相关联的词； 所述softmax层模块还通过条件随机场CRF添加约束性规则，输入为每个词预测对应每个标签的概率，输出为每个可能的标注序列，并选择得分最高的序列作为最终结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京计算机技术及应用研究所，其通讯地址为：100854 北京市海淀区永定路51号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。