合肥工业大学智能制造技术研究院石雷获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉合肥工业大学智能制造技术研究院申请的专利针对视觉语言模型的个性化联邦学习方法、终端及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120069007B 。
龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510525367.3,技术领域涉及:G06N3/098;该发明授权针对视觉语言模型的个性化联邦学习方法、终端及介质是由石雷;李泽鹏;任莹;俞磊;钱定军;张洋;朱迎飞设计研发完成,并于2025-04-25向国家知识产权局提交的专利申请。
本针对视觉语言模型的个性化联邦学习方法、终端及介质在说明书摘要公布了:本发明涉及联邦学习技术领域,公开了针对视觉语言模型的个性化联邦学习方法、终端及介质。该方法将联邦学习系统中的客户端建模为无向图中的节点,构建多模态的客户端图;将客户端图划分为簇并进行迭代聚类,以最小化客户端图的结构熵;结构熵由簇内同质性和簇间分离度联合确定;对每个簇内的客户端通过LoRA模块进行视觉语言模型微调,并在客户端局部更新阶段通过参数正则化约束局部模型与全局模型的偏差,得到模型上传参数;按照迭代聚类的结果,每个簇内的服务器接收簇内各个客户端的模型上传参数,聚合形成全局模型并下发到客户端。本发明能在有效抵御拜占庭攻击的同时,减少通信开销。
本发明授权针对视觉语言模型的个性化联邦学习方法、终端及介质在权利要求书中公布了:1.针对视觉语言模型的个性化联邦学习方法,其特征在于,包括以下步骤: S1.将联邦学习系统中的客户端建模为无向图中的节点,节点间的边权重由客户端参数的余弦相似度计算得到,从而构建多模态的客户端图; S2.将客户端图划分为簇并进行迭代聚类,以最小化客户端图的结构熵;其中,所述结构熵由簇内同质性和簇间分离度联合确定; S3.对每个簇内的客户端通过LoRA模块进行视觉语言模型微调,并在客户端局部更新阶段通过参数正则化约束局部模型与全局模型的偏差,得到客户端的模型上传参数; S4.按照迭代聚类的结果,每个簇内的服务器接收簇内各个客户端的模型上传参数,聚合形成全局模型并下发到客户端; 其中,在S2的聚类过程中,通过全局最小化结构熵以充分将恶意客户端与正常客户端分到不同的簇中;在聚类结束后,将簇内客户端数量小于预设阈值的簇直接丢弃,从而使得恶意客户端失去作用;步骤S3中,通过簇内每个客户端的全局模型进行低秩适配,以进行视觉语言模型微调;其中,在第t轮中,客户端i的全局模型的计算公式为: 式中,表示前一轮即t-1轮的客户端i全局模型;ΔWi表示客户端i的原始参数;表示低秩适配;MLoRA表示已部署的LoRA模块; 对于聚类结束后的每个簇c,其全局模型的计算公式为: 式中,i、j表示簇c内的任意两个客户端即节点;Wc,i为簇c内的客户端i的参数;Wc,j为簇c内的客户端j的参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人合肥工业大学智能制造技术研究院,其通讯地址为:230000 安徽省合肥市包河区花园大道369号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。