买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利一种基于语义布局的场景手绘草图生成和编辑方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119180884B 。

龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411111559.1，技术领域涉及：G06T11/23；该发明授权一种基于语义布局的场景手绘草图生成和编辑方法及系统是由乔晓田;张九州;冯同辉;夏小芳;崔江涛设计研发完成，并于2024-08-14向国家知识产权局提交的专利申请。

本一种基于语义布局的场景手绘草图生成和编辑方法及系统在说明书摘要公布了：一种基于语义布局的场景手绘草图生成和编辑方法、系统、设备和介质，包括：场景图像预处理，得到预处理后的场景图像中的单个物体的图像草图图像对；构建场景图像全景分割模块、场景布局建模模块、单个物体草图生成模块、草图矢量化模块及场景草图组合模块；对场景布局建模模块和单个物体草图生成模块进行模型训练；构建完整的场景草图生成模型；系统、设备及介质用于实现该方法；本发明能根据输入的场景图像，生成对应的多张具有不同场景布局、物体形态多样、草图细节可编辑的人类手绘场景草图，使最终生成的场景草图具备场景级别的手绘抽象特性，同时突出场景物体的语义特征。

本发明授权一种基于语义布局的场景手绘草图生成和编辑方法及系统在权利要求书中公布了：1.一种基于语义布局的场景手绘草图生成和编辑方法，其特征在于，包括以下步骤： 步骤1，场景图像预处理，得到预处理后的场景图像中的单个物体的图像草图图像对； 所述步骤1的具体方法为： 步骤1.1，针对场景图像中的多个物体，以及物体对应的草图，将物体及其对应的草图一一对应，构成单个物体的图像草图对，物体草图作为真实目标图像； 步骤1.2，通过pytorch深度学习图像处理库工具对步骤1.1中得到的单个物体的图像草图对进行读取，在输入单个物体草图生成模块之前将单个物体的图像草图对的形状调整至单个物体草图生成模块所需大小；同时对单个物体的图像草图对进行归一化处理，输入的图像数据色值范围从[0～255]的整型数值映射到[-1～1]的浮点数值，得到预处理后的单个物体的图像草图图像对； 步骤2，构建场景图像全景分割模块、场景布局建模模块、单个物体草图生成模块、草图矢量化模块以及场景草图组合模块；其中： 场景图像全景分割模块用于将输入的场景图像进行全景分割，将场景图像的场景级信息转换为物体级别的信息，输出原场景图像的语义布局、输入的场景图像中所有物体的类别以及对应的物体实例分割图和背景分割图； 场景布局建模模块用于对原场景图像的语义布局进行预测并生成多个场景图像布局； 单个物体草图生成模块用于生成输入场景图像中的像素级的单个物体草图，并实现同一物体对应多种多样形态的物体草图； 草图矢量化模块用于将场景图像中的像素级的单个物体草图变成单个物体的矢量化草图； 场景草图组合模块用于将单个物体的矢量化草图根据生成的多个场景图像布局组合为多个场景草图； 所述步骤2的具体方法为： 步骤2.1，场景图像全景分割模块包括一个全景分割网络模型，全景分割网络模型用于将输入的场景图像进行全景分割，得到原场景图像的语义布局、输入的场景图像中所有物体的类别以及对应的物体实例分割图和背景分割图； 步骤2.2，场景布局建模模块包括一个基于transformer架构的网络模型，基于transformer架构的网络模型中包括多个transformerlayer，每个transformerlayer由两个LayerNorm归一化层、causal自注意力层以及一个mlp多层感知器组成；所述mlp多层感知器由Linear线性层、GELU激活层以及Linear线性层组成；通过输入步骤2.1得到的原场景图像的语义布局中的一个起始布局信息元素，所述transformerlayer预测下一个可能的场景布局信息元素，最终输出由原场景图像的语义布局预测的多个场景图像布局； 步骤2.3，单个物体草图生成模块包括一个自编码模型以及一个基于条件的扩散生成模型，所述基于条件的扩散生成模型输入为步骤2.1得到的输入的场景图像中所有物体的类别以及对应的物体实例分割图，所述单个物体草图生成模块输出为输入场景图像中的像素级的单个物体草图； 步骤2.4，草图矢量化模块包括一个可微光栅化器，草图矢量化模块的输入为步骤2.3得到的输入场景图像中的像素级的单个物体草图，对于输入的草图，初始化n条贝塞尔曲线，将这些曲线的控制点的位置信息以及线条的颜色信息作为可训练的参数，不断优化迭代使得最终的由贝塞尔曲线构成的矢量化草图的视觉效果完美逼近给定的像素级物体草图，达到矢量化的目的，所述草图矢量化模块输出为单个物体的矢量化草图； 步骤2.5，场景草图组合模块根据场景布局建模模块输出的由原场景图像的语义布局预测的多个场景图像布局以及草图矢量化模块输出的单个物体的矢量化草图组合在一起，最终输出多个场景草图； 步骤3，对步骤2构建的场景布局建模模块和单个物体草图生成模块进行模型训练； 步骤4，基于步骤2构建的场景图像全景分割模块、草图矢量化模块和场景草图组合模块，以及步骤3训练完成的场景布局建模模块和单个物体草图生成模块，构建完整的场景草图生成模型； 所述步骤4的具体方法为： 步骤4.1，将场景图像输入至场景图像全景分割模块中，所述场景图像全景分割模块中的全景分割网络模型加载预训练的模型参数，全景分割网络模型的输入尺寸为场景图像的原始尺寸，输出为场景图像的全景分割结果，包括原场景图像的语义布局、输入的场景图像中所有物体的类别以及对应的物体实例分割图和背景分割图； 步骤4.2，将步骤4.1中场景图像全景分割模块输出的原场景图像的语义布局输入至场景布局建模模块中，将场景图像的全景分割结果中原场景图像的语义布局定义为一个向量作为场景图像的布局信息的表示，并输入到场景布局建模模块中，场景布局建模模块中的L个transformerlayer网络根据输入的向量当前位置的值以及该位置之前的值来预测下一位的布局信息的值，最终由原始的布局信息得到m个全新的场景布局，m是一个可以定制化输入的值； 步骤4.3，连接场景图像全景分割模块和单个物体草图生成模块，基于场景图像全景分割模块中的全景分割网络模型输出的原场景图像的语义布局，获得各个前景物体的分割图；单个物体草图生成模块中的特征提取模型提取物体图像的特征；条件融合模型将步骤2.1得到的原场景图像的语义布局中的类别信息以及使用特征提取模型提取的物体图像的特征融合到一块作为基于条件的扩散生成模型的条件输入；Unet去噪模型将随机高斯噪声、条件融合模块的输出以及基于条件的扩散生成模型的当前时间步t作为输入，预测出时间步t与时间步t-1之间所加的噪声，用输入的随机高斯噪声减去该预测噪声，得到时间步t-1对应的预测图像，再次使用Unet去噪模型将该预测图像、条件融合模块的输出以及时间步t-1作为输入，预测出时间步t-1与时间步t-2之间所加的噪声，再次得到上一时间步的预测图像，以此类推，直到循环迭代到初始时间步，得出采样的单个物体草图； 步骤4.4，将步骤4.3中得到的单个物体草图进行矢量化表示，同时，根据场景布局建模模块输出的由原场景图像的语义布局预测的多个场景图像布局，将草图矢量化模块输出的单个物体的矢量化草图整理到最终的画布上来组成最终的场景草图输出；对于前景草图的放置，根据对应布局中的位置信息放置；而对于背景草图的放置，在步骤2.1输出的输入的场景图像中的背景分割图上进行像素点聚类，使用K个聚类中心的位置作为背景草图的最终位置，同一类别的背景使用同一生成的草图放置在K个位置上；从而得到多张具有不同场景布局的场景草图。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。