买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川互慧软件有限公司申请的专利一种基于多模态融合的自修复UI自动化检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120234251B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510427180.X，技术领域涉及：G06F11/3668；该发明授权一种基于多模态融合的自修复UI自动化检测方法是由杨亚东;姜超;罗强设计研发完成，并于2025-04-07向国家知识产权局提交的专利申请。

本一种基于多模态融合的自修复UI自动化检测方法在说明书摘要公布了：本发明涉及软件测试自动化技术领域，具体而言，涉及一种基于多模态融合的自修复UI自动化检测方法，主要包括了进行视觉特征提取得到特征向量，并构建带语义标签的虚拟DOM树进行相似度计算，得到结构相似度；通过特征融合决策器对特征向量和结构相似度进行权重动态调整，输出当前置信度阈值下的融合权重比例，通过权重比例对特征向量和结构相似度融合形成决策组合，生成新的定位器。通过上述方法，解决动态用户界面导致的测试用例脆弱性问题，界面变更的实时感知的检测速度得到提升，同时定位策略的自动生成的新的定位器，在使用时的定位的成功率也得到显著提升。

本发明授权一种基于多模态融合的自修复UI自动化检测方法在权利要求书中公布了：1.一种基于多模态融合的自修复UI自动化检测方法，其特征在于，包括： 通过测试执行器对当前UI进行异常检测，若未检测出异常则正常执行当前指令，若检测出异常，则对异常点进行定位，并判断是否定位成功； 若定位成功，则正常对异常点进行修复，若定位未成功，则进行视觉特征提取得到特征向量，并构建带语义标签的虚拟DOM树进行相似度计算，得到结构相似度； 通过特征融合决策器对特征向量和结构相似度进行权重动态调整，并设置置信度阈值，判断特征融合决策器的输出结果是否小于置信度阈值，若小于置信度阈值，则输出当前置信度阈值下的融合权重比例，若不小于置信度阈值，则进行根据历史数据选定融合权重比例； 通过权重比例对特征向量和结构相似度融合形成决策组合，根据策略组合生成新的定位器，将新的定位器输出至测试执行器进行异常检测和定位； 所述则进行视觉特征提取得到特征向量包括： 获取当前UI界面截图的区域图像，通过预训练的神经网络模型检测识别区域图像，提取得到区域图像的复合特征，基于复合特征输出特征向量； 所述构建带语义标签的虚拟DOM树进行相似度计算包括： 获取DOM树结构数据，将DOM树结构数据封装为可复用组件，通过可复用组件编译生成包含语义标签的虚拟DOM节点，并根据数据状态选语义标签； 通过模板语法或者h函数生成虚拟DOM树，计算虚拟DOM节点的相似度，所述相似度包括属性相似度和树结构相似度，并将属性相似度和树结构相似度进行标准化结构相似度评分后，进行输出； 所述通过特征融合决策器对特征向量和结构相似度进行权重动态调整包括： 式中，为新的权重参数，为当前权重参数，为学习率，为历史视觉成功率，为历史DOM成功率； 所述将属性相似度和树结构相似度进行标准化结构相似度评分，包括： 式中，为两个子树结构的结构相似度指数，为节点对总数，为属性相似度权重，为属性相似度函数，为树结构相似度权重，为基于Wu-Palme的树结构相似度函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川互慧软件有限公司，其通讯地址为：621000 四川省绵阳市科技城新区创新中心11号楼607室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。