买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉王荣;南京偌伊科技有限公司申请的专利一种基于文本和图像的多模态融合的自动化测试方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114757287B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210412537.3，技术领域涉及：G06V10/764；该发明授权一种基于文本和图像的多模态融合的自动化测试方法是由王荣设计研发完成，并于2022-04-19向国家知识产权局提交的专利申请。

本一种基于文本和图像的多模态融合的自动化测试方法在说明书摘要公布了：本发明公开了一种基于文本和图像的多模态融合的自动化测试方法包括以下步骤：通过摄像头获取所进入界面的图像数据；通过文本检测和文本识别模型获取文本数据；将图像数据和文本数据共同送入多模态模型处理，所述多模态模型包括用于图像数据处理的卷积层、最大池化层，图像数据经过一层卷积和一层最大池化层后由Resnet提取图像模态特征，所述多模态模型还包括用于文字数据处理的卷积神经网络得到文本模态特征；通过多模态模型获得当前图像所对应标签，并判断界面是否正确。本发明通过将文本模态特征和图像模态特征通过多模态模型进行多模态的融合，在自动化测试时，使得判断是否进入正确的界面的准确率更高。

本发明授权一种基于文本和图像的多模态融合的自动化测试方法在权利要求书中公布了：1.一种基于文本和图像的多模态融合的自动化测试方法，其特征在于：包括以下步骤： 步骤一：通过摄像头获取所进入界面的图像数据； 步骤二：通过文本检测和文本识别模型获取文本数据； 步骤三：将图像数据和文本数据共同送入多模态模型处理，所述多模态模型包括用于图像数据处理的卷积层、最大池化层，图像数据经过一层卷积和一层最大池化层后由Resnet提取图像模态特征，所述多模态模型还包括用于文字数据处理的卷积神经网络得到文本模态特征； 步骤四：通过多模态模型获得当前图像所对应标签，并判断界面是否正确； 其中，将经过所述Resnet提取的图像模态特征设为Xi，经过所述卷积神经网络得到的文本模态特征设为Xt,并将Xi与Xt作为FusionBlock融合模块的输入，然后通过全连接层Dense和concat拼接的方式将图像和文本两个模态的特征拼接起来，并引入tanh函数，再利用add操作将低级的文本模态特征补充到图像的高级特征中，保证了图像模态原始结构特征的完整性，计算公式如下： FusionBlock融合模块的输出: 其中，Wi和Wt分别为图像和文本模态经过全连接层Dense后的权重，bi代表偏差，tanh为激活函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人王荣;南京偌伊科技有限公司，其通讯地址为：211300 江苏省南京市高淳县砖墙镇夹沟村洪户7号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。