桂林电子科技大学;桂林奥普计算机网络集团有限公司刘振丙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉桂林电子科技大学;桂林奥普计算机网络集团有限公司申请的专利一种基于联邦学习的自监督预训练方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119358628B 。
龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411423926.1,技术领域涉及:G06N3/0895;该发明授权一种基于联邦学习的自监督预训练方法是由刘振丙;李焕兰;路皓翔;王琳;杨辉华;梁香元设计研发完成,并于2024-10-12向国家知识产权局提交的专利申请。
本一种基于联邦学习的自监督预训练方法在说明书摘要公布了:本发明提出了一种基于联邦学习的自监督预训练方法,以提升肝癌图像分割效果。医学图像分割旨在准确提取感兴趣区域,以辅助诊断与治疗,但传统方法依赖大量标注数据,在医学领域难以获得。本方法利用ViT编码器对无标注的肝癌遮掩图像进行特征学习,并通过ViT解码器重建遮掩像素块,随后传递嵌入特征给下游任务;结合当前本地模型与上一轮全局模型,优化训练过程,减少当前模型与全局模型特征表示距离,同时增加与本地模型特征表示距离,通过对比使客户端模型逐步接近全局模型,获得较优全局模型对肝癌图像进行分割。本方法有效缓解数据异构性导致的性能下降,提高模型的泛化能力,解决数据标签不足的问题,从而推动人工智能辅助医疗领域的应用。
本发明授权一种基于联邦学习的自监督预训练方法在权利要求书中公布了:1.一种基于联邦学习的自监督预训练方法,其特征在于,采用掩码自编码器进行医学图像分析,针对当前第t轮的模型训练,该方法包括以下步骤: 1中央服务器将当前t轮的全局模型发送至各个客户端,由客户端来对当前的全局模型进行处理,训练当前轮次的局部模型; 2各客户端接收全局模型后,客户端对本地随机掩蔽图像使用ViT编码器聚合未掩蔽区域的上下文信息,从而推断掩蔽部分图像进行重建任务,并采用均方误差MSE函数计算重建损失,如公式1所示: 其中,n表示客户端参与图像数据的数量,yi是第i个图像数据的实际目标值,是模型对第i个图像数据的预测值; 此时,客户端保存着当前需要进行训练的局部模型、中央服务器上一轮传回的全局模型和上一轮训练得到的局部模型,将所述ViT编码器输出的嵌入向量经多层感知机MLP变换为高维特征表示,并基于自监督对比学习损失对所述高维特征进行约束,如公式2所示: 其中,sim·表示余弦相似度函数,τ为温度参数,用于控制损失值,保证损失的收敛,代表当第t轮的局部模型学习的特征表示,代表第t-1轮的局部模型学习的特征表示,代表第t-1轮的全局模型学习的特征表示; 将重建损失函数、交叉熵损失函数和自监督对比损失函数三者按照一定的参数比相加得到训练混合损失函数公式如3所示: 其中,s为当前训练的本地数据集样本,为当前第t轮待训练的局部模型,为第t-1轮的局部模型,为第t-1轮的全局模型,μ为用于控制自监督对比损失权重的超参数; 3各客户端依据步骤2所述混合损失更新局部模型参数,并将训练完成的局部模型上传至中央服务器聚合; 4中央服务器在收集完所有客户端的局部模型后,使用加权平均的方式进行模型聚合,得到第t轮的全局模型,至此,第t轮通信训练完成; 5重复执行步骤1至步骤4,总体的优化目标如公式4所示: 其中,N代表所有客户端总体数据的数量,nk代表来自第k个客户端的数据集数量,为第k个客户端的混合损失,wglob为当前待训练的全局模型,因此,模型总体优化目标即为每一个客户端使用混合损失训练完成后,然后再进行加权平均的方式进行聚合,最终得到最优的全局模型wglob。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人桂林电子科技大学;桂林奥普计算机网络集团有限公司,其通讯地址为:541004 广西壮族自治区桂林市七星区金鸡路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励