买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学;上海人工智能创新中心申请的专利一种基于模态特有及通用信息的缺失感知提示方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119763010B 。

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411830222.6，技术领域涉及：G06V20/40；该发明授权一种基于模态特有及通用信息的缺失感知提示方法和系统是由江晗;金涛;赵洲设计研发完成，并于2024-12-12向国家知识产权局提交的专利申请。

本一种基于模态特有及通用信息的缺失感知提示方法和系统在说明书摘要公布了：本发明公开了一种基于模态特有及通用信息的缺失感知提示方法和系统，属于多模态学习领域。对原始视频样本的初始特征进行模态缺失处理；对模态缺失特征统一特征维度和尺寸；其中统一特征维度后拼接得到多模态联合特征；统一尺寸后融合得到模态通用提示；利用门控融合机制控制模态对应可学习矩阵的融合，得到模态特定提示；融合模态通用提示和模态特定提示，得到特定‑通用提示作为缺失感知提示；将特定‑通用提示与多模态联合特征进行拼接，作为多模态模型的输入，引入全连接层以完成多模态下游任务。本发明通过向多模态模型引入模态缺失感知的可学习特定‑通用提示，实现了在数据模态不完整场景中的跨模态应用，提升了多模态下游任务的性能。

本发明授权一种基于模态特有及通用信息的缺失感知提示方法和系统在权利要求书中公布了：1.一种基于模态特有及通用信息的缺失感知提示方法，其特征在于，包括： 获取原始视频样本和文本标注，对原始视频样本进行多模态特征提取，得到多模态初始特征；所述的文本标注指代原始视频样本标签，根据下游任务确定； 对原始视频样本的多模态初始特征进行部分模态缺失处理，得到模态缺失特征； 将模态缺失特征映射到相同的特征维度空间，得到统一特征维度的模态缺失特征；将统一特征维度的模态缺失特征彼此拼接，得到多模态联合特征； 将统一特征维度的模态缺失特征映射到相同的序列长度空间，得到统一尺寸的模态缺失特征，融合后生成模态通用提示；所述的模态通用提示的计算公式为： 其中，pc是模态通用提示；n是原始视频样本的总模态数；表示第i个模态的模态缺失特征，Li和Di分别表示xi的序列长度和特征维度；fd·表示将特征维度调整为d；fl·表示将序列长度调整为l； 利用Frobenius范数和统一尺寸的模态缺失特征构建门控融合机制以判断模态缺失情况，并控制模态对应可学习矩阵的融合，生成模态特定提示；所述的模态特定提示的计算公式为： 其中，ps是模态特定提示；Mi∈Rl×d为可学习矩阵；l×d表示可学习矩阵的序列长度和特征维度，与统一尺寸的模态缺失特征尺寸一致；‖·‖F表示Frobenius范数，用于判断所计算矩阵是否为全零矩阵，继而判断对应模态特征是否缺失；bi为模态i对应的可学习矩阵的系数，用于决定对应可学习矩阵是否参与模态特定提示的生成； 融合模态通用提示和模态特定提示，生成特定-通用提示作为缺失感知提示；将所述的多模态联合特征拼接在缺失感知提示之后，得到多模态模型的输入，表达式为： xinput＝[ps-c,fdx1,fdx2,…,fdxn] 其中，xinput表示多模态模型的输入；[…]表示拼接操作，ps-c表示特定-通用提示，fdxn表示模态n统一特征维度的模态缺失特征；所述的多模态模型采用单流Transformer模型； 将xinput输入预训练多模态模型，提取预训练多模态模型输出中的最后一个token，将其输入全连接层，根据全连接层的输出结果完成基于下游视频任务的多模态模型、全连接层、特征映射、可学习矩阵的训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学;上海人工智能创新中心，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。