买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利基于实体语义和视觉文本化的多模态命名实体识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118364821B 。

龙图腾网通过国家知识产权局官网在2025-08-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410635551.9，技术领域涉及：G06F40/295；该发明授权基于实体语义和视觉文本化的多模态命名实体识别方法是由姜明;李启明;张旻设计研发完成，并于2024-05-22向国家知识产权局提交的专利申请。

本基于实体语义和视觉文本化的多模态命名实体识别方法在说明书摘要公布了：本发明公开了基于实体语义和视觉文本化的多模态命名实体识别方法，步骤1、获取社交媒体图文数据集；步骤2、分别对输入文本S和输入图像I进行处理得到输入文本表示B和文本化图像表示V；步骤3、预设实体定位任务，将输入文本特征H输入到另一个BiLSTM网络，并将另一个BiLSTM网络的输出经过CRF解码器，并采用平均池化操作得到输入文本的实体表示E；步骤4、使用交叉注意力机制将文本化图像表示V分别与实体表示E、输入文本表示B进行交互得到一个多模态融合表示M；步骤5、将最终的多模态融合表示M通过条件随机场CRF解码器进行标签预测，得到最优标签序列，完成识别。该方法解决了图像特征错误引导非实体词的问题。并且解决了模态间特征差异的问题。

本发明授权基于实体语义和视觉文本化的多模态命名实体识别方法在权利要求书中公布了：1.一种基于实体语义和视觉文本化的多模态命名实体识别方法，其特征在于，包括如下步骤： 步骤1、获取社交媒体图文数据集，所述数据集包括输入文本S和输入图像I； 步骤2、分别对输入文本S和输入图像I进行处理得到输入文本表示B和文本化图像表示V； 得到输入文本表示B的方法为： 在输入文本S词嵌入中加入输入文本的词性信息，然后BERT预训练语言模型作为文本编码器提取对应的输入文本特征H＝{h0，h1，…,hn+1}，其中，表示si对应的上下文感知的文本特征表示，d是BERT输出的词向量维度，将输入文本特征H输入到BiLSTM网络，得到输入文本表示B； 得到文本化图像表示V的方法为： 通过输入图像生成的图像描述、图像标签、光学字符，分别将图像描述、图像标签、光学字符映射到文本空间中得到以文本的形式全方位概括图像语义信息，将这三种文本形式的图像语义信息拼接起来得到文本化图像表示V； 步骤3、预设实体定位任务，将输入文本特征H输入到另一个BiLSTM网络，并将该BiLSTM网络的输出经过CRF解码器，以预测文本中的实体位置，得到实体预测结果，并采用平均池化操作得到输入文本的实体表示E； 所述步骤3的具体步骤包括： 步骤3.1、将步骤2中的输入文本特征H经过另一个双向LSTM层，得到含有词性信息的文本上下文特征表示R； 步骤3.2、将R输入CRF解码器进行标签预测，CRF将R转化为最优标记序列其中Z是由“B”、“I”、“O”构成的集合，其中“B”表示一个实体的开始词，“I”表示一个实体的非开始词，而“O”则表示不属于任何实体的词，根据z*即可获取输入文本中预测的实体位置，将这些位置的单词从文本S中抽取出来即可得到实体预测结果； 步骤3.3、根据实体预测结果，抽取出输入文本S中的所有被实体定位任务识别的m个实体，通过平均池化操作得到输入文本的实体表示，记为 步骤4、将输入文本表示B、文本化图像表示V和实体表示E输入到一个实体级多模态图融合模块中，使用交叉注意力机制将文本化图像表示V分别与实体表示E、输入文本表示B进行交互，以更新每一层的实体表示E、输入文本表示B、文本化图像表示V，最终得到一个多模态融合表示M； 步骤5、将步骤4中的最终的多模态融合表示M通过条件随机场CRF解码器进行标签预测，得到最优标签序列，完成识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市钱塘区白杨街道2号大街1158号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。