南京交控积图网络科技有限公司高正华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京交控积图网络科技有限公司申请的专利一种基于多模态数据的单目视觉3D目标标注方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119723579B 。
龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411778347.9,技术领域涉及:G06V20/70;该发明授权一种基于多模态数据的单目视觉3D目标标注方法是由高正华;徐浩东;居鹤伟设计研发完成,并于2024-12-05向国家知识产权局提交的专利申请。
本一种基于多模态数据的单目视觉3D目标标注方法在说明书摘要公布了:本发明公开了一种基于多模态数据的单目视觉3D目标标注方法,涉及图像处理技术领域,方法包括:获取针对训练区域生成的2D数据集;确定生成2D数据集的相机对应的相机外参,结合相机外参,确定相机对应的相机矩阵;结合每张RGB图像对应的辅助信息文件,确定训练模型的投影矩阵,基于投影矩阵,结合所有RGB图像、每张RGB图像对应的2D目标检测框的坐标位置以及相机矩阵,训练3D目标检测模型;获取针对待检测区域采集到的2D图像数据,结合训练好的3D目标检测模型中,输出每个2D图像数据对应的3D检测框。本发明结合投影矩阵,能够让网络模型学习到目标在图像中的透视关系、角点信息,帮助神经网络的参数收敛,达到理想的3D检测框预测结果。
本发明授权一种基于多模态数据的单目视觉3D目标标注方法在权利要求书中公布了:1.一种基于多模态数据的单目视觉3D目标标注方法,其特征在于,包括: 获取针对训练区域生成的2D数据集,所述2D数据集中包括至少一张RGB图像、每张RGB图像对应的辅助信息文件以及每张RGB图像对应的2D目标检测框的坐标位置; 确定生成所述2D数据集的相机对应的相机外参,并通过棋盘格检测方式对所述相机进行内参标定,结合所述相机外参,确定所述相机对应的相机矩阵; 结合每张RGB图像对应的辅助信息文件,确定训练模型的投影矩阵,基于所述投影矩阵,结合所有RGB图像、每张RGB图像对应的2D目标检测框的坐标位置以及所述相机矩阵,训练3D目标检测模型; 获取针对待检测区域采集到的2D图像数据,将所述2D图像数据输入至训练好的3D目标检测模型中,输出每个2D图像数据对应的3D检测框; 训练3D目标检测模型的过程具体为: 通过卷积神经网络以及特征金字塔网络,对输入的RGB图像进行特征提取,得到四个不同尺寸的预测特征图,利用所述投影矩阵,在每个预测特征图中进行特征采样,并将采样结果输入至解码器中,生成预测结果,所述预测结果包括:该RGB图像中每个2D目标检测框对应的3D检测框的八个角点坐标以及类别索引,基于所述预测结果以及该RGB图像对应的实际标签计算损失值,并反向传播更新3D目标检测模型的网络参数,直至所述损失值满足预设条件,完成3D目标检测模型,得到训练好的3D目标检测模型; 所述损失值的计算方式为: 通过匈牙利算法确定损失函数,所述损失函数具体为: 其中,为总损失值,为通过匈牙利算法计算得出的预测边界框与GroundTruth之间的最小匹配值,表示N个预测结果与GroundTruth所有的排列组合情况,即解空间N表示预测目标数,yi表示目标真实值,所述目标真实值包括目标所属类别和3D边界框角点坐标,表示目标预测值,ci表示目标类别,表示无目标,表示预测类别损失,bi表示真实目标边界框坐标,表示预测目标边界框坐标,表示边界框损失,表示分类损失,表示最小匹配排列下真实目标所对应的预测目标边界框。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京交控积图网络科技有限公司,其通讯地址为:210000 江苏省南京市秦淮区永丰大道8号南京白下高新技术产业园区软件信息中心A栋101室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。