深圳大学赵睿获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳大学申请的专利基于多模态蒸馏的相机三维目标检测方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120374963B 。
龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510868667.1,技术领域涉及:G06V10/25;该发明授权基于多模态蒸馏的相机三维目标检测方法和系统是由赵睿;王朔遥设计研发完成,并于2025-06-26向国家知识产权局提交的专利申请。
本基于多模态蒸馏的相机三维目标检测方法和系统在说明书摘要公布了:本发明所提供的基于多模态蒸馏的相机三维目标检测方法和系统,涉及目标检测技术领域,该方法包括:确定训练好的以点云和多视角相机图像作为输入的多模态教师模型,利用教师模型中的点云特征对构建出的以多视角相机图像作为输入的学生模型进行跨模态对比蒸馏,使其具备空间几何推理能力构造出伪点云特征,利用多模态适应性平滑蒸馏方式,对齐基于伪点云特征和图像特征异构融合得到的学生模型特征和基于点云特征和图像特征通道融合得到的教师模型特征,在教师模型的回归输出优于学生模型的回归输出时,选择将其回归框知识蒸馏至学生模型中,通过上述训练过程,能够保证学生模型和教师模型结构上的一致性,提高学生模型的三维目标检测准确性。
本发明授权基于多模态蒸馏的相机三维目标检测方法和系统在权利要求书中公布了:1.一种基于多模态蒸馏的相机三维目标检测方法,其特征在于,所述方法包括: 确定训练好的以点云和多视角相机图像作为输入进行三维目标检测的多模态教师模型,并构建以多视角相机图像作为输入的学生模型; 在训练学生模型的过程中,利用多模态教师模型中的点云特征对学生模型中的图像特征进行跨模态对比蒸馏,得到具备空间几何推理能力的学生模型,以便学生模型基于所述图像特征构造出相应的伪点云特征; 利用多模态适应性平滑蒸馏方式,对齐学生模型特征和教师模型特征;其中,所述学生模型特征为学生模型基于所述伪点云特征和所述图像特征进行异构融合得到的融合后特征,并且所述教师模型特征为多模态教师模型基于所述点云特征和所述图像特征进行通道融合得到的融合后特征; 获取训练过程中学生模型的回归输出和多模态教师模型的回归输出,并判断多模态教师模型的回归输出是否优于学生模型的回归输出; 在多模态教师模型的回归输出优于学生模型的回归输出时,则将多模态教师模型所具备的回归框知识蒸馏传递至学生模型中,得到训练好的用于三维目标检测的学生模型; 其中,所述利用多模态教师模型中的点云特征对学生模型中的图像特征进行跨模态对比蒸馏,包括: 计算正样本特征对的相似度强度和负样本特征对的相似度强度; 利用预设对比损失函数,并基于所述正样本特征对的相似度强度和所述负样本特征对的相似度强度计算出相应的对比损失结果; 基于所述对比损失结果控制学生模型隐式学习与多模态教师模型共享的特征空间; 其中,正样本特征对为在同一场景下,多模态教师模型提取的点云特征与学生模型对应空间位置提取的图像特征,负样本特征对为多模态教师模型提取的点云特征与学生模型在其他场景提取的图像特征或在同一场景下,多模态教师模型提取的点云特征与学生模型在非对应空间位置提取的图像特征; 并且,所述预设对比损失函数为: ; 其中,表示对比损失结果,表示余弦相似度函数,表示多模态教师模型中的点云特征,表示正样本特征,表示负样本特征,表示缩放因子,表示缩放后的正样本特征对的相似度强度,表示缩放后的负样本特征对的相似度强度,表示所有缩放后的负样本特征对的相似度强度之和。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳大学,其通讯地址为:518060 广东省深圳市南山区粤海街道南海大道3688号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。