买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国网智能电网研究院有限公司;国网上海市电力公司;国家电网有限公司申请的专利掩码自编码器的知识蒸馏方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116227582B 。

龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310118939.7，技术领域涉及：G06N3/096；该发明授权掩码自编码器的知识蒸馏方法、装置、设备及存储介质是由张屹;张国梁;杜泽旭;林龙;刘卫卫;初宗博设计研发完成，并于2023-01-31向国家知识产权局提交的专利申请。

本掩码自编码器的知识蒸馏方法、装置、设备及存储介质在说明书摘要公布了：本发明公开了一种掩码自编码器的知识蒸馏方法、装置、设备及存储介质，该方法通过分别建立掩码自编码器的教师模型和学生模型，其中，所述教师模型和所述学生模型均为视觉变换模型，且所述教师模型的规模大于所述学生模型；对所述教师模型进行预训练；基于预训练好的所述教师模型对所述学生模型进行知识蒸馏预训练，使学生模型从预训练好的教师模型中学习数据泛化能力，得到表征能力更好的图像特征；基于下游任务对预训练好的所述学生模型进行微调训练，学生模型可部署在算力资源缺乏的电力边缘侧，在减少模型参数的同时保证了模型精度不下降，加速实时推理速度。

本发明授权掩码自编码器的知识蒸馏方法、装置、设备及存储介质在权利要求书中公布了：1.一种掩码自编码器的知识蒸馏方法，其特征在于，包括： 分别建立掩码自编码器的教师模型和学生模型，其中，所述教师模型和所述学生模型均为视觉变换模型，且所述教师模型的规模大于所述学生模型； 对所述教师模型进行预训练； 基于预训练好的所述教师模型对所述学生模型进行知识蒸馏预训练； 基于下游任务对预训练好的所述学生模型进行微调训练； 所述基于预训练好的所述教师模型对所述学生模型进行知识蒸馏预训练，包括：基于所述学生模型和预训练好的所述教师模型获取重构损失和蒸馏损失；基于所述重构损失和蒸馏损失确定第二损失函数；基于所述第二损失函数对所述学生模型进行知识蒸馏预训练； 所述基于所述学生模型和预训练好的所述教师模型获取重构损失和蒸馏损失，包括：根据第二预设掩码率对第二输入图像进行掩码；将掩码后的所述第二输入图像输入到所述学生模型的编码器得到第二中间特征，将所述第二中间特征输入到所述学生模型的解码器得到第二重构图像；将掩码后的所述第二输入图像输入到预训练好的所述教师模型的编码器得到第三中间特征，将所述第三中间特征输入到预训练好的所述教师模型的解码器得到第三重构图像；基于所述第二重构图像获取重构损失；基于所述第二中间特征、第三中间特征、第二重构图像和第三重构图像获取蒸馏损失； 所述基于所述第二重构图像获取重构损失包括：获取所述第二输入图像和所述第二重构图像在掩蔽区域的像素点的距离，以及所述第二输入图像和所述第二重构图像在未掩蔽区域的像素点的距离；基于在掩蔽区域的像素点的距离和在未掩蔽区域的像素点的距离获取所述重构损失，重构损失的计算公式为： 式中，表示重构损失，、分别表示掩蔽区域的像素点、未掩蔽区域的像素点的数量，为第二输入图像第i个像素点的值，为第二重构图像第i个像素点的值； 所述基于所述第二中间特征、第三中间特征、第二重构图像和第三重构图像获取蒸馏损失，包括：计算所述第二中间特征和所述第三中间特征的距离；基于预设的温度系数计算所述第二重构图像和所述第三重构图像在掩蔽区域的像素点的距离；基于所述第二中间特征和所述第三中间特征的距离，以及所述第二重构图像和所述第三重构图像在掩蔽区域的像素点的距离获取蒸馏损失，蒸馏损失的计算公式为： 式中，函数是用于计算第二中间特征和第三中间特征之间的距离，采用范式，为教师模型的第三重构图像第i个像素点的值，为预设的温度系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网智能电网研究院有限公司;国网上海市电力公司;国家电网有限公司，其通讯地址为：102209 北京市昌平区未来科技城滨河大道18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。