买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东理工大学申请的专利一种基于电子病历文本的可迁移语言模型构建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113408277B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110683036.4，技术领域涉及：G06F40/289；该发明授权一种基于电子病历文本的可迁移语言模型构建方法是由薛魁;柳俊;王奕;黄宗浩;叶琪设计研发完成，并于2021-06-18向国家知识产权局提交的专利申请。

本一种基于电子病历文本的可迁移语言模型构建方法在说明书摘要公布了：本发明提出了一种基于电子病历文本的可迁移语言模型，该模型通过医学知识库将电子病历文本分离成模板与术语两大部分，先利用PatternAttention对自然语言模板单独建模，再利用KGCrossAttention融合对应的医疗术语，使得模型能够利用医学知识库分离病历文本进行建模，从而完成跨专科的信息抽取。为了让模型更加适应于电子病历文本，本发明设计了三种预训练任务，通过这种方法对模型进行预训练后，可以大幅降低模型在相近专科内的迁移难度。

本发明授权一种基于电子病历文本的可迁移语言模型构建方法在权利要求书中公布了：1.一种基于电子病历文本的可迁移语言模型构建方法，其特征在于，包括如下步骤： S1：模板术语分离器，以医学知识库为字典，从医学文本S中匹配出对应的术语部分，将匹配的术语进行替换，生成文本模板与专业术语集合； S2：模板术语编码器，将文本模板与专业术语进行编码，得到文本与术语融合后的向量表征El+1； 其中，模板术语编码器包括如下步骤： S21：模板术语编码器使用PattenAttention、KGCrossAttention依次捕捉模板的上下文语义信息，建立文本模板与知识库之间的关联信息，具体公式如下； SelfAttentionX＝lnmult_headh＝12X，X，X，MASK+X KGCrossAttentionX，K＝lnmult_headh＝12X，K，K，MASK+X S22：使用FNN层对S21中捕获到的信息进行一次非线性变换，得到融合后的向量表征El +1，具体公式如下： l∈{x|1≤x≤12}，l为层数 El+1＝FFNKGCrossAttentionSelfAttentionEl，K，MASK El＝layer_normaladd[xi]s-max，[pi]s_max 其中，El为初始向量，源于文本X经过词向量映射的[xi]s_max以及对应的位置编码[pi]s_max；K为专业术语集合SKG中每个词的向量表示；MASK为掩码矩阵，能够控制每个词的注意力范围，用于KGCrossAttention中让模板只关注对应替换位置的向量表示； S3：预训练下游任务层，将利用模板挖词填空、术语还原、否定考量三个任务进行预训练，输出为下游任务的损失，进行模型训练与优化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东理工大学，其通讯地址为：200237 上海市徐汇区梅陇路130号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。