买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利手绘场景下的图像识别与智能转化方法、系统及计算机可读介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115965979B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310084719.7，技术领域涉及：G06V30/226；该发明授权手绘场景下的图像识别与智能转化方法、系统及计算机可读介质是由蔡建峰;刘焕宇;张庭嘉;张亮;屈书毅;朱光明;高尔扬;李宁设计研发完成，并于2023-02-09向国家知识产权局提交的专利申请。

本手绘场景下的图像识别与智能转化方法、系统及计算机可读介质在说明书摘要公布了：手绘场景下的图像识别与智能转化方法、系统及计算机可读介质，包括以下步骤；通过相机实时拍摄，实时扫描当前的手绘草图，或直接软件绘制流程图，采集当前时刻的手绘流程图像信息，输入至计算机，实现实时的手绘流程图的采集与传输；获取手绘流程图像信息，通过定位形状位置和识别形状类别步骤，最终输出各个预测形状的位置坐标框、形状类型、箭头关键点位置及箭头所属形状数据；通过PPTVisio软件智能展示，输出指定软件的可编辑图形；OCR模块搭载，实现文字自动生成，最终输出完整的可编辑图形。本发明解决了现有技术中存在的手绘流程图转化技术的研究的准确性、效率以及可用选择较低的问题。

本发明授权手绘场景下的图像识别与智能转化方法、系统及计算机可读介质在权利要求书中公布了：1.手绘场景下的图像识别与智能转化方法，其特征在于，包括以下步骤； 步骤1：手绘流程草图采集：通过相机实时拍摄，实时扫描当前的手绘流程草图，或直接软件绘制流程图，采集当前时刻的手绘流程图像信息，输入至计算机，实现实时的手绘流程图采集与传输； 步骤2：获取步骤1得到的手绘流程图像信息，通过定位形状位置和识别形状类别步骤，最终输出各个预测形状的位置坐标框、形状类型、箭头关键点位置及箭头所属形状数据； 步骤3：获取步骤2的预测形状的位置坐标框、形状类型、箭头关键点位置及箭头所属形状数据，通过计算机绘图软件智能展示，输出指定软件的可编辑图形； 步骤4：OCR模块搭载，通过预留外部接口，实现与OCR功能包的集成进行手绘流程图文字识别，并与软件接口对接，将步骤3得到的指定软件的可编辑图形，实现文字自动生成，最终输出完整的可编辑图形； 所述步骤2中定位形状位置和识别形状类别，包括形状坐标检测、形状类型识别、箭头特征点定位、箭头指向对象估计、设置置信度阈值； 形状坐标检测：将采集的原始手绘流程图像信息输入至深度级联神经网络模型中进行特征提取，然后进行形状候选框筛选，输出每个形状的位置坐标框； 其中，所述深度级联神经网络模型包括用于提取图像全局特征的FPN网络和用于生成候选框的RPN网络； 形状类型识别：将所述每个形状的位置坐标框，并联神经网络模型中进行特征提取，然后进行形状分类,结合形状位置坐标框输入至输出最终位置的形状框； 其中，所述并联神经网络模型包括用于形状坐标框回归、形状类型预测和关键点回归的三并行网络组成，三者都是由全连接网络组成；形状位置坐标框是由x1,y1,x2,y2的四元组组成，表示坐标框的左上角和右下角坐标，而最终位置的形状框是由box,class,score的三元组组成，其中box表示前述的形状位置坐标框，class表示该形状的类型，score表示该形状为类型class的概率； 箭头特征点定位：将箭头转化为连接形状对象的因果关系，并使用始末特征点表示，通过约束模型对输出的最终位置的箭头形状框中的特征点进行检测，标注出最终位置的箭头形状框中的箭头二维特征关键点，实现箭头特征点定位； 其中，所述的连接形状对象包括形状坐标检测及形状类型识别所预测的所有形状；因果关系指预测的箭头关键点的对应关系，靠近箭头起始的关键点为因，靠近箭头终点的关键点为果；所述的约束模型包括边框限制，即通过比较关键点与对应的箭头坐标框，限制关键点位于箭头坐标框内； 箭头指向对象估计：对于输出的每一个箭头形状框中的特征点与其周边的形状，根据形状位置、关键点位置以及像素坐标系下两者之间存在的几何关系，使用智能算法估计箭头关键点的归属关系； 其中，箭头关键点的归属关系是指关键点对应到具体预测的形状；智能算法估计包括形状确定与最短距离：形状确定通过预测的矩形坐标框与预测类型形状的对称性，确定形状的顶点坐标，从而确定边；最短距离通过计算箭头关键点到各个形状的边的最短距离，确定关键点对应的具体形状； 设置置信度阈值：对比各个预测形状在整体图像上的坐标位置及其置信度，结合箭头指向对象估计的确信度，选取形状位置合理、箭头指向对象明确，置信度高于设定阈值的识别结果作为最终的形状的位置坐标框、形状类型、箭头关键点位置及箭头所属形状数据； 所述步骤3中计算机绘图软件智能展示，包括深度神经网络与软件接口实现、箭头关键点因果转换、整体轮廓智能排版； 深度神经网络与软件接口实现：结合计算机绘图软件特定文档接口输入要求，提取神经网络原始输出，并将其转化为软件接口所规定的输入形式，编写接口函数自动根据预测形状生成可编辑图形； 其中，深度神经网络的原始输出指前述的并联神经网络的输出，包括形状坐标框、形状类型和箭头关键点； 箭头关键点因果转换：通过箭头指向对象估计，进而推断出对象之间的连接关系，起始点为因，终止点为果，编写函数实现形状对象间的关系连接； 整体轮廓智能排版：对于生成的原始可编辑图形，对比各个形状的绝对与相对位置，采用启发式聚类算法实现横向与纵向对齐；形状大小标准化、一致化完成自动智能排版，同时提供软件内置智能排版算法进行选择； 其中，形状的绝对位置是形状的坐标所表示的位置；形状的相对位置是形状在整体下的方位位置。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。