复旦大学张力获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉复旦大学申请的专利一种基于激光雷达和相机融合的高精地图构建方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117008150B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310518436.9,技术领域涉及:G01S17/89;该发明授权一种基于激光雷达和相机融合的高精地图构建方法和系统是由张力;潘凯;杨泽宇设计研发完成,并于2023-05-10向国家知识产权局提交的专利申请。
本一种基于激光雷达和相机融合的高精地图构建方法和系统在说明书摘要公布了:本发明公开了一种基于激光雷达和相机融合的高精地图构建方法,包括:从多个视角相机中获取多视角图像、相机的内外参数以及同一时间戳下的点云数据,并对其中获取的多视角和点云数据分别进行预处理,以得到预处理后的多视角图像和点云数据,将预处理后的所有点云数据、多视角图像、以及多视角图像对应的投影矩阵输入预先训练好的多模态高精地图构建模型中,以得到不同道路类别对应的预测结果,预测结果包含车道线、路沿和人行道的坐标点集。本发明能够解决现有单模态的高精地图在线构建方法只能利用一种传感器来在线构建高精地图,无法利用传感器之间的互补优势的技术问题。
本发明授权一种基于激光雷达和相机融合的高精地图构建方法和系统在权利要求书中公布了:1.一种基于激光雷达和相机融合的高精地图构建方法,其特征在于,包括以下步骤: 1从多个视角相机中获取多视角图像、相机的内外参数以及同一时间戳下的点云数据,并对其中获取的多视角和点云数据分别进行预处理,以得到预处理后的多视角图像和点云数据; 2将步骤1预处理后的所有点云数据、多视角图像、以及多视角图像对应的投影矩阵输入预先训练好的多模态高精地图构建模型中,以得到不同道路类别对应的预测结果,预测结果包含车道线、路沿和人行道的坐标点集;高精地图构建模型包含顺次连接的图像分支、点云分支、多模态融合模块、以及基于Transformer实现的检测头网络,其中图像分支和点云分支并行处理图像数据和点云数据,得到的图像特征和点云特征在多模态融合模块进行融合,最后送入检测头网络以预测高精地图; 图像分支包括用于提取图像特征的图像编码器、以及用于将透视PV特征图转换为鸟瞰BEV特征图的视角转换模块PV2BEV,图像分支的输入为多视角图像,输出为多视角图像对应的PV特征图集合和完整的图像BEV特征图; 图像编码器包括骨干网络Efficientnet和颈部网络FPN,其输入为N个视角的相机在同一时间拍摄的多视角图像I={I1,I2,...,IN},Ii∈R3×H×W,输出为多视角图像对应的PV特征图集合{F1,u,F2,u,...,FN,u}, Fi,u表示第i个相机拍摄的图像对应的第u尺度的PV特征图,其中i∈[1,N],u∈[1,3],Hpv,u、Wpv,u、K分别表示第i个相机拍摄的图像对应的第u尺度的PV特征图Fi,u中第u个尺度图像特征图的高度、宽度和通道数,W表示多视角图像的宽度,H表示多视角图像的高度,最终获得的多尺度PV图像特征图Fi,u的下采样倍数分别为为116,132,132; PV2BEV模块包括两层Transformer解码层和采样层,其输入为图像编码器输出的多视角图像对应的PV特征图集合{F1,u,F2,u,...,FN,u}以列为单位变形得到的图像列特征集合{F1,u,w,F2,u,w,...,FN,u,w},图像列位置编码集合以及BEV极射线的位置编码集合输出为完整的图像BEV特征图 其中Cbev表示完整的图像BEV特征图的通道数,Hbev表示完整的图像BEV特征图的高度,Wbev表示完整的图像BEV特征图的宽度; 针对第i个相机拍摄的图像对应的第u尺度的PV特征图Fi,u而言,PV2BEV模块是将其对应的分别作为Q,K,V进行交叉注意力计算以得到该PV特征图对应的极射线特征然后,将沿着方位轴拼接,以得到极坐标系下该PV特征图对应的的BEV特征图最后,将所有相机拍摄的图像对应的PV特征图所对应的BEV特征图进行拼接采样,以得到笛卡尔系下完整的图像BEV特征图
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人复旦大学,其通讯地址为:200433 上海市杨浦区邯郸路539号新金博大厦1307;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。