买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利基于深度学习和SLAM技术的裂缝检测与三维定位方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114638794B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210214242.5，技术领域涉及：G06T7/00；该发明授权基于深度学习和SLAM技术的裂缝检测与三维定位方法是由周静;宋先义;郭玲设计研发完成，并于2022-03-04向国家知识产权局提交的专利申请。

本基于深度学习和SLAM技术的裂缝检测与三维定位方法在说明书摘要公布了：本发明公开了一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，包括步骤：创建数据集，构建裂缝检测网络模型，并训练保存最优模型；将惯性测量单元IMU与相机KinectV2采集的数据采用非线性优化的紧耦合方式进行融合，并在视觉SLAM的跟踪线程中完成位姿估计；在跟踪线程对实时采集的每一帧图像进行判断，筛选出关键帧，通过裂缝检测模型对关键帧进行语义分割，提取出裂缝信息；将裂缝信息与KinectV2采集的深度信息融入视觉惯性SLAM框架中，完成包含裂缝信息的稠密点云地图构建，实现裂缝的三维定位。本发明方法实现了裂缝的实时检测及其在三维环境中的定位，同时具有较高的检测准确率和较好的鲁棒性。

本发明授权基于深度学习和SLAM技术的裂缝检测与三维定位方法在权利要求书中公布了：1.一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，具体包括步骤: S1、构建裂缝检测网络模型，通过数据集对裂缝检测网络模型进行训练，得到最优模型； S2、对惯性测量单元与相机采集的数据，采用非线性优化的紧耦合方式进行数据融合，并在视觉SLAM的跟踪线程中完成位姿估计； S3、在跟踪线程中对实时采集的每一帧图像进行判断，筛选出关键帧，通过裂缝检测网络模型对关键帧进行语义分割，提取出裂缝信息； S4、将步骤S3得到的裂缝信息与相机采集的数据融入视觉SLAM框架中，进行包含裂缝信息的稠密点云地图构建，完成裂缝的三维定位； 所述步骤S1具体包括： 步骤S1-1，采集原始数据并进行数据扩充构建数据集，对数据集进行归一化处理，并采用直方图均衡化、高斯双边滤波进行图像预处理； 步骤S1-2，对预处理后的图像进行标注，裂缝区域标记为白色，非裂缝区域标记为黑色，得到掩膜图像并保存，将数据集分成训练集和测试集； 步骤S1-3，搭建裂缝检测网络模型，包含四次下采样和四次上采样：下采样每次先采用3×3的和1×1的卷积核进行卷积，然后使用ReLu激活函数对卷积后的图像进行激活，再与原始的输入信息级联后，采用尺度为2×2的池化进行下采样，之后的结果作为下一层卷积的输入；上采样即模型进入第六层时，将第五层的输出作为门信号，先将门信号通过1×1的反卷积扩张为原来的2倍，再与模型第四层的输出分别输入到设置好的AG模块中，数据经过AG模块处理后，输出信号再和经过上采样的门信号级联输出，进入卷积核大小为3×3的卷积层，输出结果与第六层的原始输入信号级联，作为第七层的输入，依此类推，在网络的最后一层用一个1×1的卷积将每个64维的特征向量映射到输出层； 步骤S1-4，基于训练集对裂缝检测网络模型进行迭代训练，并通过测试集验证，直至获取满足设定值的最优模型； 所述训练集和测试集比例为7:3，训练集中包含的有裂缝图像和无裂缝图像数量相等； 所述步骤S2具体包括： S2-1，分别对相机和惯性测量单元进行标定得到各自内参数，再对二者进行联合标定，得到转换矩阵和时差； S2-2，通过惯性测量单元的误差模型和运动模型计算其连续帧间的预积分模型,并对陀螺仪偏置、重力加速度、速度进行初始化，完成视觉惯性联合初始化； S2-3，将预积分模型预积分后和视觉信息采用紧耦合的方式进行数据融合，并对视觉重投影误差和惯性测量单元残差采用基于滑动窗口边缘化的非线性优化模型进行位姿估计，并通过目标优化函数确定优化后的位姿； 所述预积分模型为： 其中，i和j为相邻的两个关键帧,δφij、δvij、δpij分别表示惯性测量单元的旋转、速度、位置测量时的噪声,Ri、vi、pi分别表示第i个关键帧的相对旋转矩阵，速度与平移量；Rj、vj、pj分别表示第j个关键帧的相对旋转矩阵，速度与平移量；Δtij表示i,j两个时刻的时间差； 所述非线性优化模型为： 其中，为惯性测量单元的残差模型，其中X为待优化的变量，为惯性测量单元预积分的值，ep、eq、ev、eba、ebg分别为惯性测量单元预积分中的位置，速度，姿态以及陀螺仪零偏，加速度计零偏，b为随机游走噪声，β为白噪声；为惯性测量单元的视觉重投影误差，ξi为相机位姿所对应的李代数，mj为一个三维地图点，pij为三维地图点在图像中对应的像素点； 所述目标优化函数为： 其中，B表示所有惯性测量单元测量的集合，k表示第k个图像，Hp表示先验信息的海森矩阵，γp、γB表示各优化变量的雅可比矩阵； 所述步骤S3中筛选出关键帧的筛选规则为满足以下规则其中之一： 1距离上次参考关键帧至少20帧； 2当前帧距离上次关键帧插入至少间隔20帧或局部线程处于空闲状态； 3当前帧至少能跟踪到50个特征点； 4当前帧跟踪到的三维地图点要比参考关键帧多80％以上，确保重叠率低； 所述步骤S4具体包括： S4-1、将经过视觉SLAM跟踪、局部BA优化和回环矫正筛选出的关键帧所对应的彩色地图和深度地图进行稠密点云建图，得到稠密点云地图； S4-2、将步骤3对所有关键帧进行语义分割得到的裂缝信息，通过坐标转换关系映射到稠密点云地图中，针对连续关键帧间的语义标签不一致采用贝叶斯更新，即： 其中，三维地图点设为Vd，表示目前所有关键帧集合，lk表示一个三维体素的类别，表示该三维地图点在语义标签集合上的独立分布概率分布； 在新关键帧到来时通过更新三维地图点云的语义信息，获取全局一致的带有裂缝信息的稠密点云地图，通过稠密点云地图获得裂缝的三维位置信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市孝陵卫200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。