北京化工大学曹政才获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京化工大学申请的专利一种助盲场景动态避障方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115908466B 。
龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211313412.1,技术领域涉及:G06T7/13;该发明授权一种助盲场景动态避障方法是由曹政才;牟洪民;张港;孙伊扬;石胤斌;马哲;夏霁设计研发完成,并于2022-10-26向国家知识产权局提交的专利申请。
本一种助盲场景动态避障方法在说明书摘要公布了:本发明公开一种助盲场景动态避障方法。首先,构建一种基于残差块内构造层次化类残差结构的特征提取模块,可扩大深层特征的感受野。其次,设计了基于双线性插值与转置卷积上采样的空间特征恢复模块,使分割边缘更加精确。再次,使用离散采样策略提取障碍物的类别信息,距离信息与轮廓信息,通过考虑安全距离约束的启发式搜索算法进行路径规划。最后,假设了避障提醒系统的优先级规则与逻辑顺序规则,结合所规划路径生成决策,通过听觉触觉信息有效指引盲人避障。本发明解决了单阶段实例分割算法难以同时高精度分割小目标障碍物与背景路面的问题,克服了实例分割结果难以为助盲场景避障决策提供有效信息的困难,可以使盲人用户更加智能自主地避障。
本发明授权一种助盲场景动态避障方法在权利要求书中公布了:1.一种助盲场景动态避障方法,其特征在于,分为三个阶段: 阶段一进行图像实例分割,由基于深度残差结构的特征提取模块,基于双线性插值与转置卷积上采样的空间特征恢复模块,基于多层转置卷积上采样的原型生成模块与基于边界框与蒙版位置回归的系数矩阵预测模块实现; 阶段二根据实例分割结果提取路面与障碍物的种类信息,位置信息与轮廓信息,之后进行路径规划,包括栅格语义地图生成算法,判断障碍物类别与位置的离散采样策略,盲人扇形安全区域与左前右前区域的假设,远端路面中心点启发式搜索算法,考虑安全距离约束的A*路径规划算法,考虑行人移动的路径优化策略; 阶段三生成助盲避障策略,包括避障提醒系统的优先级规则与顺序规则,结合阶段二的结果生成决策,通过听觉触觉指引盲人; 该方法具体包括: 步骤3:训练完成后,将图像输入基于深度残差结构的特征提取模块,所得特征图通过空间池化金字塔以获得多组固定尺寸的特征图,其中的浅层特征图X1∈R69*69*256与来自基于双线性插值与转置卷积上采样的空间特征恢复模块的特征图拼接后得到特征图X7∈R69*69*280,将其输入基于多层转置卷积上采样的原型生成模块得到的一组与输入图像同尺寸的原型;其中,基于双线性插值与转置卷积上采样的空间特征恢复模块由三组卷积核为3×3的门控卷积层串联卷积核为3×3的2D卷积层,与一个双线性插值层构成,以原图像X∈RW*H*3作为输入,使用门控卷积层提取图像的边缘特征,转置卷积层与双线性插值层改变通道数,最终生成特征图X6∈R69*69*24,将其拼接到X1∈R69*69*256中得到X7∈R69*69*280;基于多层转置卷积上采样的原型生成模块由四个卷积核为3×3的转置卷积层与一个卷积核为1×1的2D卷积层构成,得到P∈RW*H*32;深层特征图X2∈R35*35*256、X3∈R18*18*256、X4∈R9*9*256、X5∈R5*5*256经过基于边界框与蒙版位置回归的系数矩阵预测模块得到的一组系数矩阵;基于边界框与蒙版位置回归的系数矩阵预测模块将输入先经过串联的两组卷积核为3×3的2D卷积层,再经过并联的3个卷积核为3×3的2D卷积层得到3组系数矩阵,分别为类别置信度预测矩阵C1∈RW*H*81*a,边界框预测矩阵C2∈RW*H*4*a与蒙版预测矩阵C3∈RW*H*32*a,其中a表示预设锚框的个数,a取值3~8;将C1∈RW*H*81*a,C2∈RW*H*4*a,C3∈RW*H*32*a分别与P∈RW*H*32做矩阵乘法操作再经Sigmoid激活函数处理,Sigmoid激活函数表达式如下: 其中x为输入值,e为自然对数的底数;将原型进行裁剪与拼接,最终得到实例分割结果,该过程可描述如下: M=SigmoidPCT 其中P是H×W×k的原型蒙版矩阵,H,W为分割网络输入图像的高与宽,k为原型的组数,C是一个n×k的系数矩阵,对应n个经过非极大抑制与蒙版评分筛选的实例,M为最终生成的蒙版; 步骤4:将分割结果提取出二值图,其第三通道为0或255,尺寸为H×W×1,其中,H,W和分割网络所输入图像的高,宽大小相同,0表示可行走区域,255表示不可通行区域,在此基础上下采样使语义地图栅格化,得到二值图尺寸为其中S表示下采样倍数,取值范围MaxW,H表示取W与H的最大值; 步骤5:使用离散采样策略判断是否存在障碍物,并划定与盲人两米距离的扇形安全区,在此区域内四像素点一采样,而离盲人较远的区域,分成左前区域与右前区域,六像素点一采样,采样到障碍物像素点并累计超过Ho表示存在障碍物,其余情况表示为可通行路面,Ho取值其中S为步骤4中的下采样倍数; 步骤6:计算行人与盲人的相对移速DΔx,Δy为相邻帧行人与盲人用户的距离,其中Δx,Δy分别为栅格化语义地图中行人实例蒙版边界框中心点坐标与二值图像底部中心点的横纵坐标之差,DΔx,Δy是由横纵坐标之差计算的欧几里得距离,T为相邻两帧时间差,取秒,Fr为帧率;计算最小安全距离d=vt,其中v是行人与盲人的相对移速,t为反应时间设为两秒,画出以行人实例蒙版边界框中心点坐标为圆心,d为半径的圆形区域,此区域设置为不可通行区域; 步骤7:为求得路径规划的终点,使用远端路面中心点启发式搜索算法,从二值图像顶部即离盲人最远端到二值图像底部即当前盲人脚下,逐行遍历并统计路面类型的像素点,每次遍历到障碍物类型像素点时,路面类型的像素点统计数大于Hr认为找到可通行路面,记录该段的中心点坐标为路径规划的终点坐标,不再遍历,累计小于Hr则将统计数据清零,继续遍历,Hr取值其中S为步骤4中的下采样倍数; 步骤8:在考虑安全距离约束的A*路径规划算法的代价函数中加入路径与障碍物距离的代价,总代价公式为: fn=gn+hn+In 其中n为当前节点的坐标值,fn为总代价,gn为由递归算法求得的当前点与初始点的实际路径长度,hn为当前节点与初始点的曼哈顿距离,In是当前节点与障碍物的距离代价,定义为: In=L-dn*ki 其中L是路径与障碍物保持的预期像素距离,设为20,dn为当前节点与离其最近障碍物的横坐标距离或纵坐标距离,ki为比例系数,取值范围为其中W,H分别为二值图像的宽与高,ki用以将L-dn放大,使否则随gn+hn的增大,In几乎无法对fn产生影响;使用上述算法处理栅格化语义地图,最终得到一条从当前脚下点出发到最远处路面中心且与障碍物保持一定距离的最短路径。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京化工大学,其通讯地址为:100029 北京市朝阳区北三环东路15号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励