买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利基于多模态信息融合的异构数据特征提取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115935969B 。

龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310030248.1，技术领域涉及：G06F40/279；该发明授权基于多模态信息融合的异构数据特征提取方法是由宋建锋;陈慧;苗启广;谢琨;刘如意;权义宁;刘向增设计研发完成，并于2023-01-10向国家知识产权局提交的专利申请。

本基于多模态信息融合的异构数据特征提取方法在说明书摘要公布了：本发明公开了一种基于多模态信息融合的异构数据特征提取方法，其实现步骤为：通过使用文本编码器和图像编码器组成双流架构，对不同模态的数据特征提取分别构建不同的编码器，在对异构数据特征进行融合的时候充分考虑到不同模态数据之间的局部对应关系，使用注意力机制对异构数据进行融合。由此解决现有技术编码器模型参数混乱、训练过程复杂，以及异构数据特征信息融合不完全的问题。使得本发明能更好地处理异构数据，提高了异构数据特征提取的准确度。同时也提高了信息融合的完整度，确保提取出来的异构信息特征融合的有效性。

本发明授权基于多模态信息融合的异构数据特征提取方法在权利要求书中公布了：1.一种基于多模态信息融合的异构特征提取方法，其特征在于，采用文本编码器和图像编码器组成的双流结构分别提取文本数据和图像数据的特征，通过注意力机制对异构特征进行特征融合；该异构特征提取方法的具体步骤包括如下： 步骤1，生成训练集： 步骤1.1，收集一门科目考试中一个学期内至少100名学生的所有考试答题记录；将每个学生每次该门科目考试的答题试卷的答案整理为q-id,kc-id,ans格式，作为该门科目中一道试题的一个样本数据，采用相同的方法，得到该门科目考试试卷的所有学生的每道试题的答题记录；其中，q-id表示第q个学生回答的第id道试题，kc-id表示第id道试题中所包含的知识点kc，ans为第id道试题的标签，其取值为0或1，ans=0表示该道试题的回答正确，ans=1表示该道试题的回答错误； 步骤1.2，采用与步骤1.1相同的方式，从每门科目考试的30000条答题记录中随机选取20000个样本数据，组成学生答题记录训练集； 步骤2，生成文本编码器和图像编码器的预训练集： 步骤2.1利用爬虫技术，爬取与步骤1.1中相同科目的试题总共40000道，并获取每道试题的试题文本、试题附图、试题知识点、试题分数信息；去除含有相同题目文本和不含题目例图的试题后，将剩余的32000道不重复且含有文本、图像两种模态数据的试题组成学生考试试题库； 步骤2.2,将试题库中的每道试题的题目文本整理成格式text，作为该道试题的一个文本样本数据；从试题库中随机选取10000个文本样本数据组成文本编码器的文本预训练集； 步骤2.3,将试题库中的每道试题的题目附图整理成格式img，作为该道试题的一个图像样本数据；从试题库中随机选取10000个图像样本数据组成图像编码器的图像预训练集； 步骤3，设置编码器： 步骤3.1，采用Bert预训练模型作为文本编码器，将该文本编码器的字嵌入向量维度设置为768，输入文本的最大长度设置为80； 步骤3.2，采用Transformer模型作为图像编码器，将该图像编码器的隐状态维度设置为512，多头注意力模块的注意力头数设置为6； 步骤4，预训练编码器： 步骤4.1，将文本预训练集输入到文本编码器中，随机选取输入文本中15%的词语使用[mask]标记进行替换，输出[mask]标记的预测词，利用交叉熵损失函数，计算文本编码器输出的预测词与真实词之间的损失值，通过梯度下降法，迭代更新文本编码器中的所有参数，直至损失值不再变化为止，得到预训练好的文本编码器； 步骤4.2，将图像预训练集输入到图像编码器中，输出能够表征图像特征的图像特征向量，使用主成分分析法，将该图像特征向量还原成图像；利用交叉熵损失函数，计算真实图像与还原图像之间的损失值，通过梯度下降法，迭代更新图像编码器的所有参数，直至损失值不再变化为止，得到预训练好的图像编码器； 步骤5，训练学生知识状态生成网络： 步骤5.1，将循环神经网络作为学生知识状态生成网络； 步骤5.2，将学生答题记录训练集输入到学生知识状态生成网络中，输出训练中每个样本的预测标签，利用交叉熵损失函数，计算训练样本的预测标签与真实标签之间的损失值，通过梯度下降法，迭代更新学生知识状态生成网络中的所有参数，直至损失函数收敛为止，得到训练好的学生知识状态生成网络； 步骤6，生成学生个性题库： 将步骤2.1中学生考试试题库中的所有试题，输入到训练好的学生知识状态生成网络中，将网络预测标签为0的输入样本对应的试题添加到学生个性题库； 步骤7，提取含有异构数据的多模态试题数据的特征： 步骤7.1，将学生个性题库中所有试题的题目文本输入到预训练好的文本 编码器中，输出每道试题的题目文本向量； 步骤7.2，将学生个性题库中的所有试题的题目附图输入到预训练好的图像 编码器中，输出每道试题的题目附图向量； 步骤8，融合异构特征： 将每道试题题目文本向量与题目附图向量均输入到注意力机制中进行特征融合，输出融合了文本特征和图像特征的多模态表征向量； 所述注意力机制指的是，通过计算输入向量之间的注意力得分，使用注意力得分和输入向量相乘进行向量融合； 步骤9，生成学生个性化试卷： 通过计算向量之间的夹角余弦值得到两两多模态向量之间的相似度，选取所有相似度最大值的多模态向量对应的试题组成学生个性化试卷。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。