买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利一种基于神经网络早退机制的序列标注加速方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115269822B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110480011.4，技术领域涉及：G06F16/35；该发明授权一种基于神经网络早退机制的序列标注加速方法是由邱锡鹏;李孝男设计研发完成，并于2021-04-30向国家知识产权局提交的专利申请。

本一种基于神经网络早退机制的序列标注加速方法在说明书摘要公布了：本发明提供了一种基于神经网络早退机制的序列标注加速方法，用于判断预训练语言模型在进行序列标注任务时是否进行早退，包括以下步骤：对于L层的预训练语言模型，在每一层之后都添加一个内部分类器，在进行序列标注任务时，通过句子级别的序列标注早退机制或词级别的序列标注早退机制来判断预训练语言模型是否进行早退。本发明的一种基于神经网络早退机制的序列标注加速方法能够应用于在自然语言处理中较为基础的序列标注任务，在加速3‑4倍的同时只给模型带来微小的性能损失。

本发明授权一种基于神经网络早退机制的序列标注加速方法在权利要求书中公布了：1.一种基于神经网络早退机制的序列标注加速方法，用于判断预训练语言模型在进行序列标注任务时是否进行早退，应用于自然语言处理中的序列标注任务，其特征在于，包括以下步骤： 对于L层的所述预训练语言模型，在每一层之后都添加一个内部分类器，所述预训练语言模型为静态模型，所述内部分类器可以根据对应层给出的表示来给出预测结果， 在进行所述序列标注任务时，通过句子级别的序列标注早退机制或词级别的序列标注早退机制来判断所述预训练语言模型是否进行早退，并且由任意一个中间分类器退出， 其中，所述句子级别的序列标注早退机制包括句子级别训练阶段与句子级别推理阶段， 所述句子级别训练阶段为联合训练L层的所述预训练语言模型和添加的L个所述内部分类器， 其中，所述句子级别训练阶段的损失函数为： 公式1中，flX；θn为所述预训练语言模型第L层第n个词的标签概率分布，H为交叉熵，wl为每层损失函数的权重，wl＝l； 所述句子级别推理阶段为：当所述预训练语言模型执行至第L层，根据第L层输出的各个词的标签概率分布计算得到每个词的不确定度，然后最大池化得到整个句子的不确定度，并根据早退不确定度界限来判断是否退出， 其中，所述每个词的不确定度如下式： 公式3中，是第L层第n个词的不确定度，是第n个词在第L层的标签分类概率，C是标签种类总数， 再采用最大池化的方式得到所述整个句子的不确定度如下： 所述词级别的序列标注早退机制包括词级别训练阶段与词级别推理阶段，所述词级别训练阶段为先进行所述内部分类器的联合训练，再进行自采样训练， 所述词级别推理阶段为通过计算每个词的窗口不确定度并根据最小退出不确定度来对每个词的退出进行单独判断，其中，所述窗口不确定度通过计算每个词所在的窗口内的所有词的最大不确定度来表示该词的不确定度，计算公式如下： 公式5中，k为窗口大小，且每经过所述预训练语言模型的一层，就对未退出的词进行标签分类，若未退出的词的预测标签的分布置信度够高，则直接输出所述预测标签，并停止表示更新，直接复制到后续层，用于加速分词、词性标注、命名实体识别的速度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。