买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于光流信息的扩散模型视频生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119762632B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411503462.5，技术领域涉及：G06T13/20；该发明授权一种基于光流信息的扩散模型视频生成方法是由李建军;吕灏辰;刘畅;张磊;李振辉;叶茵;林乃键;黄天宸;李志勇;吉仁泽设计研发完成，并于2024-10-25向国家知识产权局提交的专利申请。

本一种基于光流信息的扩散模型视频生成方法在说明书摘要公布了：本发明公开了一种基于光流信息的扩散模型视频生成方法。首先对现有数据集中的视频进行预处理，获取参考图像信息和光流信息；然后使用标准StableDiffusion模型作为视频生成的主干网络；使用两个与标准SD模型中Unet结构相同的Unet分别提取参考图像特征和光流特征，参考图像特征在自注意力层与SD模型Unet的自注意力层进行融合，光流特征在交叉注意力层和SD模型Unet的时序注意力层进行融合。同时为了更好的利用光流信息，本发明提出了运动损失来进一步提高网络的生成效果。另外，本发明也采用了多样化的提示信息使得网络能够获得更加稳定的生成效果。

本发明授权一种基于光流信息的扩散模型视频生成方法在权利要求书中公布了：1.一种基于光流信息的扩散模型视频生成方法，其特征在于，包括步骤如下： 步骤1：对现有数据集中的视频进行预处理，选取视频的第一帧作为参考图像信息；同时使用光流算法提取视频前后帧之间的光流信息；将视频的连续帧提取成图片进行存储即得到视频序列；对所有的图片进行分辨率调整，以适应后续的训练和推理； 步骤2：构建视频生成网络OFDiffusion； 使用标准Stable Diffusion模型作为视频生成的主干网络，并在标准SD模型的Unet中每一个交叉注意力层之后添加时序注意力层，以优化生成视频的时序连贯性；使用两个与标准SD模型中Unet结构相同的Unet分别提取参考图像特征和光流特征，参考图像特征在自注意力层与SD模型Unet的自注意力层进行融合，光流特征在交叉注意力层和SD模型Unet的时序注意力层进行融合；同时，将整体模型称为OFDiffusion，并提出运动损失对生成视频的时序连贯性进行约束； 视频生成网络中，为了使生成的视频满足条件信息的约束，所述条件信息包括参考图像信息和光流信息，采用旁路网络提取条件信息的特征并和主干视频生成网络进行特征融合；具体的，主干网络选用Stable Diffusion模型负责视频生成，并在标准SD模型的Unet中每一个交叉注意力层之后添加时序注意力层，以优化生成视频的时序连贯性；Stable Diffusion包含一个变分编码器VAE来将输入图片映射到一个潜空间中，以减低网络的计算量；VAE包括一个编码器ε和一个解码器给定一张图片x，VAE使用编码器εx将其映射到潜空间中，并使用解码器对编码的结果进行解码； 对于参考图像信息，使用与标准SD模型中的Unet结构相同的Unet进行特征提取，将这一网络称作Reference Encoder，将Reference Encoder每一个自注意力层的特征与SD模型中的Unet每一个对应位置的自注意力层的特征进行特征融合；具体的，将SD模型中Unet的自注意力层输入的特征记为其中b,f,h,w,c分别代表batch size，连续帧的个数，特征的高度，特征的宽度以及通道数，并将Reference Encoder中自注意力层输入的特征表示为由此Reference Encoder的特征和SD模型中Unet的特征融合的方式能够表示为： Q＝WQ[xsd1,xref],K＝Wk[xsd1,xref],V＝WV[xsd1,xref]； 其中[xsd1,xref]表示SD和Reference Encoder的特征拼接，WQ,Wk,WV分别表示Query,Key,Value的权重矩阵，d表示特征通道数，Self_Attn表示自注意力；完成自注意力的计算后，取得到特征的前一半作为SD模型的Unet自注意力层的输出特征继续后续的网络传播； 步骤3：基于预处理后得到的数据对视频生成网络OFDiffusion进行训练； 结合参考图像信息和光流信息，使用Diffusion损失和运动损失反向传播更新参数； 步骤4：使用训练好的模型进行推理，得到模型推理生成的视频，对视频的效果进行评价。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市钱塘区白杨街道2号大街1158号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。