买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种结合知识图谱实体关联度的BERT模型优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116719951B 。

龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310749554.0，技术领域涉及：G06F16/36；该发明授权一种结合知识图谱实体关联度的BERT模型优化方法是由徐小良;孙浩设计研发完成，并于2023-06-21向国家知识产权局提交的专利申请。

本一种结合知识图谱实体关联度的BERT模型优化方法在说明书摘要公布了：本发明公开了一种结合知识图谱实体关联度的BERT模型优化方法。该方法首先根据知识图谱和文本数据集进行实体链接得到实体集合，并根据实体集合中实体之间在知识图上的最短路径长度计算实体间的关联度，然后将文本数据集作为训练样本输入到BERT模型，利用BERT模型内部的损失函数进行训练，并在训练过程中根据实体间的关联度优化文本数据中对应实体部分在BERT模型中的多头注意力下的注意力分布，得到优化之后的BERT模型，并应用于处理下游任务。本发明通过知识图谱实体关联度来引导BERT模型的训练，有效提升了BERT模型处理下游任务的效果。

本发明授权一种结合知识图谱实体关联度的BERT模型优化方法在权利要求书中公布了：1.一种结合知识图谱实体关联度的BERT模型优化方法，其特征在于，包括如下步骤： S1、根据知识图谱和文本数据集进行实体链接，得到实体集合； S2、根据实体集合中各实体之间在知识图谱上的最短路径长度，计算各实体间的关联度，具体过程为： S2.1、从ES抽取一个实体作为目标实体，计算目标实体与其它实体间的最短路径长度和平均最短路径长度： E,Avg＝Dijm,N 其中，m表示目标实体，N表示除目标实体外的其它实体，Dij表示计算最短路径长度的算法，E表示为目标实体与其它实体间的最短路径长度构成的向量，Avg表示为目标实体与其它实体间的最短路径长度的平均值； S2.2、将最短路径长度的平均值与各实体对于目标实体的最短路径长度的比值组成向量，并通过归一化将向量各维度的值映射到[0,1]区间： 其中，Normalization为归一化函数；得到ES中各实体对应的关联度集合R； S2.3、从ES抽取下一个实体作为目标实体，重复S2.1和S2.2，直到ES内的实体全都被遍历到，并将所有目标实体与其它实体间的关联度集合，构建为所有实体间的关联度集合RT； S3、将文本数据集作为BERT模型的输入，进行训练；在训练过程中，根据实体间的关联度，优化文本数据中对应实体部分在BERT模型的多头注意力下的注意力分布，得到优化后的BERT模型，具体过程为： S3.1、对于文本数据集T，将其中的文本数据作为BERT模型的输入，利用BERT模型内部的损失函数进行训练； S3.2、文本数据集T中的每条文本数据，由若干单词构成，所述实体即其中的部分单词；按长度N构建一个大小为N×N的关联度矩阵S，在S中包含了文本数据中所有单词之间的关联度； 所述关联度矩阵S具体构建过程为：对于文本数据中的任意两个词，若两者相同，则这两个词之间的关联度为1；否则，若两者不相同且其中至少存在一个不为知识图谱中的实体，那么这两个词之间的关联度为0；关联度矩阵S中其余部分的关联度则由集合RT确定； S3.3、根据关联度矩阵S，优化BERT模型中的多头注意力下的注意力分布，得到优化后的BERT模型，具体过程如下：注意力分布由注意力权重构成，首先将关联度矩阵S基于哈达玛积调整优化前的注意力权重，再与优化前的注意力权重进行融合，最后经过注意力分布的计算函数得到优化后的注意力分布： 其中，⊙表示哈达玛积，指的是两矩阵逐元素相乘，score为融合知识图谱关联度和语义相关性的结果，Q、K、V分别为BERT模型内部的多头注意力下的注意力分布所涉及的查询、键、值的参数矩阵，QKT为优化前的注意力权重，dk为矩阵Q、K的行向量的维度，softmax为概率分布函数，MultiAttention表示多头注意力下注意力分布的计算函数； S4、利用优化之后的BERT模型处理下游任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市钱塘区白杨街道2号大街1158号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。