杭州电子科技大学周洋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州电子科技大学申请的专利基于双向分离相关量的全景视频插帧方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119449979B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411264570.1,技术领域涉及:H04N7/01;该发明授权基于双向分离相关量的全景视频插帧方法是由周洋;王裕民;李幸;谢承凯;卢庆;殷海兵;黄晓峰设计研发完成,并于2024-09-10向国家知识产权局提交的专利申请。
本基于双向分离相关量的全景视频插帧方法在说明书摘要公布了:本发明公开了一种基于双向分离相关量的全景视频插帧方法。本发明方法首先提取输入图像的外观特征和相关量特征,然后利用相关量特征进行成本聚合获得初始光流,对初始光流进行迭代更新得到细化光流、最终特征值、掩膜和残差信息,最后对各信息进行融合,得到插帧图像。本发明采用了成本聚合的方法来分离生成的相关量,更有效地处理全景视频中存在的运动各向异性和运动分布的不均匀的特殊问题,有效地解决因不同维度投影的采样率差异所造成的伪影和估计不准确的问题。本发明更好地适应不同纬度上的运动幅度差异所引起的运动查询误差,进而提高光流预测的精度,并最终获得质量更高的中间帧。
本发明授权基于双向分离相关量的全景视频插帧方法在权利要求书中公布了:1.基于双向分离相关量的全景视频插帧方法,其特征在于: 步骤1提取输入图像的外观特征和相关量特征; 步骤2利用相关量特征进行成本聚合获得初始光流;具体如下: 2-1对两个相关量特征值通过点积计算得到相关量,,和分别为前后两帧图像通过金字塔网络时各自输出的一个相关量特征值,为相关量特征值通道数,为相关量特征值总通道数,和表示特征的坐标;,表示实数域,是一个4D的张量,坐标为; 2-2对相关量进行分离处理,分别计算相关性矩阵在水平方向和竖直方向上的最大值和平均值: 相关量水平方向的平均值; 相关量水平方向的最大值; 相关量竖直方向的平均值; 相关量竖直方向的最大值;,; 将获得的相关量水平方向的平均值和最大值进行上采样,拼接后得到水平方向张量;将获得的相关量竖直方向的平均值和最大值进行上采样,拼接后得到竖直方向张量; 2-3对水平方向张量从上、下、左、右四个方向依次进行成本聚合,得到四个方向的聚合后水平相关量:;聚合方向上,下,左,右,r表示在聚合方向上的单位向量,表示前后两帧对应像素的水平方向距离,变量,表示求和运算,、、和表示输入图像通过外观特征编码器卷积神经网络得到的四个权重; 对竖直方向张量从上、下、左、右四个方向依次进行成本聚合,得到四个方向的聚合后竖直相关量:;表示前后两帧对应像素的竖直方向距离; 2-4水平相关量经过编解码器网络获得初始化的水平光流分量,竖直相关量经过编解码器网络获得初始化的竖直光流分量;编解码器网络为多层卷积神经网络,对输入量先进行逐层卷积操作,再进行逐层反卷积操作,然后进行输出; 将两个方向的光流分量拼接后获得正向初始化光流,cat表示拼接; 2-5对相关量转置获得转置后相关量,重复2-2~2-4获得反向初始化光流; 步骤3对初始光流进行迭代更新得到细化光流、最终特征值、掩膜和残差;具体如下: 3-1用正向初始化光流和反向初始化光流对相关量以及和进行查询获得查询量;具体如下: 首先依据位置信息在每个像素坐标上生成查询框,查询范围,a和b分别为横坐标和纵坐标的偏移量,L为查询框边长; 然后将正向初始化光流和反向初始化光流输入位置编码器,根据位置信息p生成正向偏移量和反向偏移量:,;位置信息p是通过计算一个像素与全景图像高度中线的垂直距离,然后将该距离进行归一化处理得到; 查询框加上获得的正向偏移量得到正向查询位置,查询框加上获得的反向偏移量得到反向查询位置,和分别为偏移量的横坐标和纵坐标; 利用正向查询位置查询相关量,得到正向查询量;利用反向查询位置查询转置后相关量,得到反向查询量; 3-2将正向查询量输入到更新模块U中,获得正向光流增量和正向中间特征值增量;将反向查询量输入到更新模块U中,获得反向光流增量和反向中间特征值增量;更新模块U为多层卷积神经网络,对输入量进行逐层卷积操作,然后进行输出; 3-3将正向中间特征值增量和反向中间特征值增量进行拼接,得到中间特征值增量;外观特征值与中间特征值增量相加,得到一级中间特征值; 正向光流增量与正向初始化光流相加,得到一级正向光流;反向光流增量与反向初始化光流相加,得到一级反向光流; 3-4用一级正向光流和一级反向光流对相关量以及和进行查询,重复步骤3-1~3-3,获得二级中间特征值、二级正向光流和二级反向光流; 3-5重复步骤3-4进行迭代,达到设定的迭代次数停止迭代,得到中间特征值、正向光流和反向光流; 3-6将中间特征值、正向光流和反向光流输入解码器,得到最终特征值、正向细化光流和反向细化光流,同时得到掩膜Y和残差S;解码器为多层卷积神经网络,对输入量进行逐层卷积操作,然后进行输出; 步骤4对细化光流、掩膜、残差进行融合,得到插帧图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市下沙高教园区2号大街;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励