买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于多模态的智慧楼宇知识抽取模型和方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116737897B 。

龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310682968.6，技术领域涉及：G06N5/025；该发明授权一种基于多模态的智慧楼宇知识抽取模型和方法是由吴晓华;赵翊含;朱芩叶设计研发完成，并于2023-06-09向国家知识产权局提交的专利申请。

本一种基于多模态的智慧楼宇知识抽取模型和方法在说明书摘要公布了：本发明提供了一种基于多模态的智慧楼宇知识抽取模型和方法，属于自然语言处理技术领域，以解决现有技术的信息抽取面临数据质量、规模和任务复杂性的限制的问题，其包括：门控模块、数据生成模块、数据分流模块和模态信息抽取模块，门控模块主要负责编码原始输入数据，并决定后续数据处理模块；数据生成模块主要负责对单视觉模态数据生成相应的文本描述；数据分流模块主要负责根据视觉‑文本多模态数据间的匹配程度来为多模态数据选择不同的信息抽取模型；模态信息抽取模块主要负责抽取输入信息中的知识。本发明实现了一个灵活、准确而全面的智慧楼宇信息抽取模型，各功能模块相互独立，能够实现较高的性能，可以实现不同类型输入的信息抽取。

本发明授权一种基于多模态的智慧楼宇知识抽取模型和方法在权利要求书中公布了：1.一种基于多模态的智慧楼宇知识抽取方法，其特征在于，包括： 通过门控模块对原始输入数据进行处理，得到数据嵌入向量表示并进行编码，根据原始输入数据的不同类型选择将数据输入数据生成模块、数据分流模块或模态信息抽取模块； 通过数据生成模块进行执行数据生成，对门控模块编码后的单视觉模态数据执行文本生成任务，得到图文对数据并输入到模态信息抽取模块； 通过数据分流模块对数据质量筛选，对门控模块编码后的视觉-文本多模态数据进行数据质量区分，选择将其输入模态信息抽取模块的单模态信息抽取模块或多模态信息抽取模块； 通过模态信息抽取模块进行执行信息抽取，对门控模块编码后的单文本模态数据进行信息抽取，对经过门控模块和数据生成模块的单视觉模态数据进行信息抽取，对经过门控模块和数据分流模块的视觉-文本多模态数据进行信息抽取； 所述通过数据分流模块对数据质量筛选，对门控模块编码后的视觉-文本多模态数据进行数据质量区分，选择将其输入模态信息抽取模块的单模态信息抽取模块或多模态信息抽取模块的具体步骤如下: C1、将门控模块输出的视觉-文本多模态数据编码信息输入分类器层，分析两向量之间的相似度特征，输出视觉-文本多模态数据适合于多模态信息联合抽取的概率，具体为： C101、为使分类任务训练更有效，采用hardnegative采样策略，采样与正样本最接近的负样本，并维护一个大小为M的负样本队列； C102、对视觉模态编码信息和文本模态编码信息进行对比学习，学习如下相似函数: 其中，gv和gt是将模态信息的联合表示嵌入映射成为规范化的低纬度表示的线性变换，g′vv′cls和g′tt′cls为来自动量编码器的特征表示，进一步根据相似性定义出图-文文-图相关性，计算公式如下： 其中，τ是温度系数为可训练的超参数，N为训练样本批次大小； C103、将经过对比学习的视觉模态数据与文本模态编码数据送入带有softmax的全连接层进行分类，以判断图像文本对是否匹配； C104、训练阶段以ITM任务为目标进行训练，ITM损失函数如下 其中，yitm是一个二维的独热向量表示,表示真实相似度，正样本概率为1，负样本概率为0，H表示交叉熵函数； C105、输出视觉模态数据与文本模态数据相匹配的概率p； C2、根据输出的概率值，将视觉-文本多模态数据送入模态信息抽取模块中对应的单模态信息抽取模块或多模态信息抽取模块，具体为： C201、以视觉文本模态信息匹配的概率作为执行多模态信息联合抽取的标准，认为匹配概率大于不匹配概率时，数据在多模态信息联合抽取模型下表现情况更好，反之，则在单模态信息抽取模型下表现更好； C202、在训练阶段，每份数据以概率p和1-p选择执行多模态信息联合抽取和单模态信息抽取； C203、在训练阶段，选择执行单模态信息抽取的图文数据对将进行拆分，图片模态数据馈送至数据生成模块，生成新的图文模态数据对，文本模态数据直接馈送至模态信息抽取模块执行信息抽取； C204、在使用阶段，在概率输出之上采取了一种采样策略，具体来讲，将输出概率p0.5的数据分类标签标为“1”，其余数据标签标为“0”，标签为“1”的数据选择执行多模态信息联合抽取，标签为“0”的数据选择执行单模态信息抽取； C205、在使用阶段，选择执行单模态信息抽取的图文数据对舍弃图片模态数据，仅将文本模态信息送入模态信息抽取模块执行单模态信息抽取； C206、选择执行多模态信息联合抽取的图文数据，将馈送至模态信息抽取模块首先执行图文信息交互。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：610000 四川省成都市高新区（西区）西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。