买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学宁波人工智能研究院申请的专利一种基于共指消除的语言模型预训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113886591B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111237852.9，技术领域涉及：G06N3/08；该发明授权一种基于共指消除的语言模型预训练方法是由侯良学;王冠;杨根科;褚健;王宏武设计研发完成，并于2021-10-25向国家知识产权局提交的专利申请。

本一种基于共指消除的语言模型预训练方法在说明书摘要公布了：本发明公开了一种基于共指消除的语言模型预训练方法，涉及自然语言处理技术领域，包括如下步骤：S100、数据预处理，通过字符串匹配提取语料中的代词，处理工具提取所述语料中命名实体、名词短语，作为训练数据生成阶段的遮盖候选集合；S200、训练数据生成，通过mask_word模式和mask_phrase模式进行遮盖处理，分别生成mask_word训练数据和mask_phrase训练数据：S300、预训练，根据训练模式选择因子αt自适应地切换word_learning模式或phrase_learning模式进行训练。本发明增加了对代词、短语、实体的语义训练，并且自适应切换学习模式，增强了模型的语义表示能力，更好地适用于共指消除任务。

本发明授权一种基于共指消除的语言模型预训练方法在权利要求书中公布了：1.一种基于共指消除的语言模型预训练方法，其特征在于，包括如下步骤： S100、数据预处理，通过字符串匹配提取语料中的代词，处理工具提取所述语料中命名实体、名词短语，作为训练数据生成阶段的遮盖候选集合； S200、训练数据生成，通过mask_word模式和mask_phrase模式进行遮盖处理，分别生成mask_word训练数据和mask_phrase训练数据，具体包括： S210、将数据复制两份，分别命名为数据一和数据二； S220、依据BERT的训练数据生成方式，对所述数据一和所述数据二中的文本创建训练实例，每个实例包括多个句子； S230、所述数据一和所述数据二创建的实例分别采用mask_word模式和mask_phrase模式进行遮盖处理； S240、生成mask_word训练数据，从所述数据一创建的实例中的句子中随机选取15%的单词放入CandidateSet1，将所述CandidateSet1的每个单词以80%几率替换成“[MASK]”，10%几率保持使用其他随机单词进行替换，10%几率保持不变； S250、生成mask_phrase训练数据，随机选取所述数据二创建的实例中的句子中的命名实体和名词短语，加入到CandidateSet2，将所述CandidateSet2中的每个词块以80%几率替换成“[MASK]”，10%几率保持使用其他随机单词进行替换，10%几率保持不变，每个词块中的所有词替换行为要一致，即同时替换或都保持不变； S300、预训练，根据训练模式选择因子自适应地切换所述word_learning模式或所述phrase_learning模式进行训练，具体包括： S310、预热训练，首先学习基本的单词，前20%训练步数使用所述word_learning模式进行预热训练，并保存初始word_learning预测损失和初始phrase_learning预测损失； S302.自适应训练，后80%训练步数根据所述选择因子决定第t+1步采用word_learning或phrase_learning模式训练，具体如下： 当所述选择因子0时，第t+1步采用所述word_learning模式，否则采用所述phrase_learning模式继续训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学宁波人工智能研究院，其通讯地址为：315012 浙江省宁波市海曙区南门街道南站西路29号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。