买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖州师范学院申请的专利基于改进Transformer模型的超长序列处理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115510812B 。

龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211113312.4，技术领域涉及：G06F40/126；该发明授权基于改进Transformer模型的超长序列处理方法是由王瑞琴;纪其顺;黄熠旻;万超艺设计研发完成，并于2022-09-14向国家知识产权局提交的专利申请。

本基于改进Transformer模型的超长序列处理方法在说明书摘要公布了：本发明提出了一种基于改进Transformer模型的超长序列处理方法，该方法的实现基于在Transformer模型的基础上进行改进所构建的WSformer模型，具体包括以下步骤：S1.WSformer模型的预训练：S1.1采用序列分割方法将超长序列分割成小序列；S1.2.基于双层注意力机制的特征提取：采用双层注意力机制进行词级特征提取和句级特征提取，得到整个序列的特征编码；S2.改进的位置向量编码：在步骤S1.2的编码过程中利用三角函数对词汇的位置编码进行调整，实现对位置向量的编码。该方法能够有效地降低长文本序列编码的时间成本，更加精确地刻画词与词之间的位置关系，实现了对长序列文本的有效建模，提高了预测精度和计算效率。

本发明授权基于改进Transformer模型的超长序列处理方法在权利要求书中公布了：1.一种基于改进Transformer模型的超长序列处理方法，其特征在于：该方法的实现基于在Transformer模型的基础上进行改进所构建的WSformer模型，具体包括以下步骤： S1.WSformer模型的预训练： S1.1 采用序列分割方法将超长序列分割成小序列； S1.2.基于双层注意力机制的特征提取：采用双层注意力机制进行词级特征提取和句级特征提取，得到整个序列的特征编码； S2.改进的位置向量编码：在步骤S1.2的编码过程中利用三角函数对词汇的位置编码进行调整，实现对位置向量的编码； 步骤S1.1 中，以句子为单位将段落分割成多个序列，用矩阵来表示，行数为段落中所有句子所含词汇个数的最大值，列数为该段落中含有的句子个数； 步骤S1.2中，在词级特征提取中，计算每个切分后的小序列里词汇之间的自注意力权值，然后进行汇总；在句级特征提取中，计算每个小序列之间的注意力权值，汇总后得到整个文本序列的编码； 步骤S2中，对位置向量的编码的具体方法为：在进行两个词汇位置向量的点积时，首先将其中一个位置向量的奇数列和偶数列互换，然后将两个位置向量的偶数列都乘以‑1，得到词汇a和b位置向量的编码如下： ； ； 其中，d表示位置向量的维度，即分割后的句子包含的词汇个数； 令，则基于改进的位置编码，计算两个词汇位置向量的点积如下： ； 同时交换词汇对的位置之后，和的变化如下： ； ； 令，计算两个词汇位置向量的点积如下： ； 由sin函数的性质可知，。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖州师范学院，其通讯地址为：313000 浙江省湖州市吴兴区二环东路759号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。