买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中电科大数据研究院有限公司;电子科技大学申请的专利算力异构场景下实现分布式多模态大小模型协同训练方法、装置及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121365753B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511947973.0，技术领域涉及：G06N20/00；该发明授权算力异构场景下实现分布式多模态大小模型协同训练方法、装置及系统是由曹扬;蔡惠民;朱策;管桂林;支婷;谢红韬设计研发完成，并于2025-12-23向国家知识产权局提交的专利申请。

本算力异构场景下实现分布式多模态大小模型协同训练方法、装置及系统在说明书摘要公布了：本发明公开了一种算力异构场景下实现分布式多模态大小模型协同训练方法、装置及系统，该方法包括：中心节点获取各参与方节点上传的子知识集合，子知识集合包括参与方节点从中心节点发布的训练数据中选择的适用本地多模态小模型的子数据集、基于子数据集对本地多模态小模型进行迭代训练后重新获得的子数据集中样本数据的嵌入特征、以及更新后的正确文本描述和错误文本描述；利用各参与方节点上传的子知识集合，对多模态大模型进行微调；利用公共数据对微调后的多模态大模型进行训练，得到本轮次知识集合；将本轮次知识集合下发给各参与方节点。利用本发明方案，可以实现中心节点多模态大模型与协同训练的各参与方节点多模态小模型的双向增强。

本发明授权算力异构场景下实现分布式多模态大小模型协同训练方法、装置及系统在权利要求书中公布了：1.一种算力异构场景下实现分布式多模态大小模型协同训练方法，其特征在于，中心节点部署有多模态大模型，各参与方节点部署有多模态小模型；多模态大模型是CLIP-Large模型；多模态小模型是TinyCLIP模型，所述方法包括： 所述中心节点获取各参与方节点上传的子知识集合，所述子知识集合包括所述参与方节点从所述中心节点发布的训练数据中选择的适用本地多模态小模型的子数据集、基于所述子数据集对所述本地多模态小模型进行迭代训练后重新获得的所述子数据集中样本数据的嵌入特征、以及更新后的正确文本描述和错误文本描述； 根据各参与方节点的子知识集合，生成微调数据集； 利用所述微调数据集对所述多模态大模型进行微调，得到微调后的多模态大模型； 利用公共数据对微调后的多模态大模型进行知识生成，得到本轮次知识集合； 将所述本轮次知识集合下发给各参与方节点，以使所述参与方节点从所述本轮次知识集合中选择适用本地多模态小模型的子数据集进行下一轮次训练； 生成微调数据集的过程如下： 利用各子知识集合对多模态大模型进行迭代训练，得到子知识集合中的样本数据的嵌入特征、所有正样本； 将所有子数据集中的样本数据mi的嵌入特征记为fi，生成的正确文本描述记为di+，即di+为所有子数据集中的样本数据对应的正确文本描述； 分别提取所述正样本、嵌入特征、以及各子知识集合中的正确文本描述和错误文本描述； 对所有样本数据mi的文本描述{di+，di,p+，di,p-，p=1……P}提取对应的嵌入特征{fdi+，fdi,p+，fdi,p-，p=1……P}；di,p+，di,p-是分别对应mi的正确文本描述和错误文本描述； 根据正样本的嵌入特征和正确文本描述的嵌入特征的相似度，确定相似度最高的一个正样本作为基准样本； 计算正样本的嵌入特征和正确文本描述的嵌入特征的余弦距离来确定两者的相似度，即simfdi+,fdi,p+，根据计算结果从中选出相似度最高的一个正样本作为基准样本xdi+，认为该基准样本xdi+是最正确的一个文本描述正样本； 根据正确文本描述的嵌入特征和错误文本描述的嵌入特征的相似度，选择多个相似度最高的正确文本描述作为困难样本； 基于余弦距离来确定相似度，即simfdi+,di,p-，从中筛选出T个相似度最高的正确文本描述，记为{xdi,1+,……,xdi,T+}，这T个正确文本描述不是最正确的正样本，称为困难样本； 将所述基准样本和所述困难样本组成微调数据集，记为：{mi，xdi+，{xdi,1+,……,xdi,T+}}； 利用上述微调数据集对多模态大模型进行微调训练时，通过融合InfoNCE损失函数和均方误差MSE损失函数，实现多模态大模型微调与能力增强，损失函数Loss表示为： Loss=α×InfoNCEdi,p+,di,p-+1-α×MSEfi,fi,p； 其中，α为权重系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中电科大数据研究院有限公司;电子科技大学，其通讯地址为：550081 贵州省贵阳市观山湖区长岭南路160号高科一号C栋30层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。