买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利一种基于视觉大模型的UI组件分析方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118312174B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410314998.6，技术领域涉及：G06F8/38；该发明授权一种基于视觉大模型的UI组件分析方法及装置是由褚华;李青山;周洋涛;李佳楠;胡景钊;潘毅淳设计研发完成，并于2024-03-19向国家知识产权局提交的专利申请。

本一种基于视觉大模型的UI组件分析方法及装置在说明书摘要公布了：本发明提供针对基于视觉大模型的UI组件分析方法及装置，涉及计算机技术领域。此方法包括：采用视觉大模型对UI图像进行定位和分割，得到多个组件元素坐标和多个元素图像；采用深度残差网络模型对各元素图像进行分类；采用光学字符识别模型对各类别图像进行文本识别，得到文本特征；对各类别图像进行图像处理，提取各组件元素的图像特征；在多个组件元素坐标中提取各组件元素对应的目标坐标，根据目标坐标确定多个组件元素间的嵌套关系；将文本特征、图像特征和嵌套关系整合，得到整合数据。这样，可快速的对UI图像进行分割和分类，提高UI组件分析的效率，准确识别和分析组件之间的关系，提高UI组件分析结果的完整性和准确性。

本发明授权一种基于视觉大模型的UI组件分析方法及装置在权利要求书中公布了：1.一种基于视觉大模型的UI组件分析方法，其特征在于，所述方法包括： 获取UI图像，所述UI图像中包含多个UI组件元素； 采用视觉大模型对所述UI图像进行定位和分割，得到多个组件元素坐标和多个元素图像，各元素图像包含至少一个UI组件元素； 获取框选区域和框选区域对应的框选坐标，所述框选区域为包含指定组件元素的区域； 利用交并比算法，计算所述各元素图像对应的预测区域与框选区域的重合度； 将重合度小于预设值所对应的元素图像进行过滤，得到过滤后的各元素图像； 对所述框选区域进行点提示分割，得到所述框选区域对应的框选图像，并将所述框选图像和所述过滤后的各元素图像进行整合； 根据所述框选坐标和过滤后的各元素图像对应的组件元素坐标，确定整合后的图像中重合的各图像以及重合的各图像对应的区域尺寸，并去除区域尺寸小的图像，得到最终的分割图像； 采用深度残差网络模型对所述各元素图像进行分类，得到多个类别图像； 采用光学字符识别模型对各类别图像进行文本识别，得到文本特征； 对所述各类别图像进行图像处理，提取出各组件元素的图像特征； 在所述多个组件元素坐标中提取各组件元素对应的目标坐标，并根据所述目标坐标确定所述多个组件元素间的嵌套关系； 将所述文本特征、所述图像特征以及所述嵌套关系进行整合，得到整合数据，所述整合数据用于UI组件元素的前端代码自动化开发； 所述对所述各类别图像进行图像处理，提取出各组件元素的图像特征，包括： 对所述各类别图像进行元素颜色识别，提取出所述各组件元素的UI组件元素颜色，对所述各类别图像进行文本颜色识别，提取出所述各组件元素的文本颜色，对所述各类别图像进行UI组件元素边框颜色识别，提取出所述各组件元素的UI组件元素边框颜色，对所述各类别图像进行矩形圆角判断，提取出所述各组件元素的矩形圆角； 所述方法还包括： 针对多个不规则的UI组件元素，对围绕所述多个不规则的UI组件元素的一系列点进行处理，通过对所述一系列点的坐标计算，得到所述一系列点中最大的XY坐标、最小的XY坐标，以使所述一系列点转换为包裹所述多个不规则的UI组件元素的最小框，以使所述最小框转换为SAM模型的框提示，并将多个不规则的UI组件元素内的点作为所述SAM模型的点提示，将所述框提示、所述点提示和所述UI图像作为参数，输入到所述SAM模型，以利用所述SAM模型对所述多个不规则的UI组件元素进行分割，输出所述多个不规则UI组件元素的轮廓图。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。