买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学申请的专利一种考虑模态缺失情境的多模态ViT视觉模型结构的构建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120071079B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510124639.9，技术领域涉及：G06V10/82；该发明授权一种考虑模态缺失情境的多模态ViT视觉模型结构的构建方法是由程绍武;张涵之设计研发完成，并于2025-01-26向国家知识产权局提交的专利申请。

本一种考虑模态缺失情境的多模态ViT视觉模型结构的构建方法在说明书摘要公布了：本发明公开了一种考虑模态缺失情境的多模态ViT视觉模型结构的构建方法，所述方法针对传统ViT多模态视觉模型在模型训练过程中数据增强对模态缺失情况的模拟能力有限，并且在模型结构设计方面未考虑到模态缺失的情境，提出了考虑模态缺失情境的多模态ViT视觉模型结构，构建步骤如下：步骤一、单模态分支结构设计；步骤二、缺失模态的检测；步骤三、缺失模态的投影；步骤四、多模态融合ViT。本发明妥善处理了模态缺失的情境，在模态缺失的情境下依然能维持较高性能和稳定输出，提升了模型的准确性和鲁棒性，减少了因模态缺失而可能导致的安全隐患。

本发明授权一种考虑模态缺失情境的多模态ViT视觉模型结构的构建方法在权利要求书中公布了：1.一种考虑模态缺失情境的多模态ViT视觉模型结构的构建方法，其特征在于所述方法包括如下步骤： 步骤一、单模态分支结构设计： 步骤一一、CameraViT结构设计： CameraViT用于将图像分割成patch进行学习； 步骤一二、LidarViT结构设计： LidarViT用于处理来自激光雷达的点云输入，通过将3D空间中的原始点云划分为voxel来进行输入的处理； 步骤二、缺失模态的检测： 为了检测模态的缺失，需要对编码器输出的特征序列进行重要性评价，通过评分函数筛选信息为零或较少的特征： 其中，MSA表示多头自注意力层，MLP表示多层感知机，表示第m个模态编码器中第l层输出的特征，表示的评分，表示MSA层的输出；该评分函数动态地表示第m个模态第l层特征序列的重要性，一旦重要性分数低于阈值，就会进行模态间的投影以替代对应的模态特征； 步骤三、缺失模态的投影： 步骤三一、缺失模态的投影： 1将单个的特征投影定义为： 其中，xm[n]表示被投影的第m个模态的第n层特征，xm'[n]表示进行投影的第m′个模态的第n′层特征，h是一个深度较浅的多层感知机； 2如果考虑到一个模态中所有的特征，则将模态投影表示为特征序列投影的连接： 3对于特征特征序列中的剪枝动态地从所有特征中检测低重要性评分，对不重要的特征用其他嵌入的投影进行替代，该动态过程在每个编码层之前进行，因此更新为： 其中，Ⅱ为判断条件指示符，其输出的掩码向量θ为阈值；运算符⊙表示逐元素相乘； 损失函数表示为： 其中，L表示第m模态的特征损失，使用第一范数来标记是否进行了模态间的投影替代，λ为评价不同模态损耗的超参数； 步骤三二、投影后的位置对齐： 由于特征替代会破坏原始特征中的位置信息，为了缓解这个问题，保留原始特征序列位置嵌入，并冻结后续层中的位置嵌入，最终在任务头前进行位置嵌入的替代，不论原始特征序列是否进行了替代，模型仍保留原始的位置信息； 步骤四、多模态融合ViT： 步骤四一、使用一个MLP连接图像特征H和点云特征H以获得得N个融合特征编码X ＝MLPH∪H 步骤四二、在长度为D的特征序列中加入可学习嵌入E和位置嵌入Eposm，融合后的特征嵌入序列特征FusionToken表示为： 步骤四三、最终输出的特征H由Transformer编码器的第L层输出： 步骤四五、通过添加不同的任务头，完成多模态的实例分割、目标检测、目标跟踪视觉任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。