Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 厦门大学张斯禹获国家专利权

厦门大学张斯禹获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉厦门大学申请的专利一种基于对比孪生网络的具有目标任务指向性的自监督学习方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116306793B

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310173748.0,技术领域涉及:G06N3/0455;该发明授权一种基于对比孪生网络的具有目标任务指向性的自监督学习方法是由张斯禹;洪学敏;石江宏设计研发完成,并于2023-02-28向国家知识产权局提交的专利申请。

一种基于对比孪生网络的具有目标任务指向性的自监督学习方法在说明书摘要公布了:本发明涉及一种基于对比孪生网络的具有目标任务指向性的自监督学习方法,所述方法对大量无监督数据进行数据增强扩增,使用目标任务编码器对对比学习的收敛进行表示空间收敛方向指引,并使用EM算法进行训练,然后在网络收敛后接入具体下游任务进行网络微调,从而获得可解决目标图像任务的网络。本发明所采用的指向性自监督学习,在二维图像数据下解决了标记数据不足时的网络训练问题,降低了自监督对比学习的算力消耗,缓解了自监督对比学习的难以收敛问题,并提高了下游任务精度。

本发明授权一种基于对比孪生网络的具有目标任务指向性的自监督学习方法在权利要求书中公布了:1.一种基于对比孪生网络的具有目标任务指向性的自监督学习方法,其特征在于:所述方法对大量无监督数据进行数据增强扩增,使用目标任务编码器对对比学习的收敛进行表示空间收敛方向指引,并使用EM算法进行训练,然后在网络收敛后接入具体下游任务进行网络微调,从而获得可解决目标图像任务的网络; 所述方法具体包括以下步骤: 步骤1、确定用于模型训练的目标任务编码器TF,并将其与编码器D、预测器P1和预测器P2构建自监督网络; 其中,编码器D具有两条分支共用;该编码器D的第一条分支的输出连接预测器P1和预测器P2,预测期P1的输出与编码器D的第二条分支的输出用于计算相似度损失,计算两条分支在表示空间中的余弦相似度;p1、z2分别由编码器D和预测器P1输出; 预测器P2的输出和目标任务编码器TF的输出用于计算隐空间相似度损失,表示空间中编码器的隐藏与教师网络表示的相似度程度; 根据相似度损失和隐空间相似度损失可得到总损失 ,其中,是超参数权重因子; 步骤2、从目标任务数据集中获取无标签数据集X; 数据集X由样本集组成,并分为多个batch; 步骤3、将无标签数据集X作为自监督网络的输入,以为优化目标在自监督网络上进行迭代优化,获得X到目标表示空间的编码器D; 训练过程具体如下: (1)对网络参数集进行初始化; (2)将所有batch数据依次输入网络进行迭代训练;即将输入网络,通过数据增强T1与T2进行数据增强衍生出增强后的两批样本t1,t2; (3)处理后的样本t1,t2经过自监督网络获得总损失L,根据总损失L计算关于网络参数的梯度进行反向传播更新预测器P1以及编码器D; 优化目标分解为以下两个交替子问题,其中,作为网络参数,作为隐变量,下标t为迭代次数: (1) (2) 以上两个问题符合EM算法优化框架,E步主要在于求解隐变量的期望,在网络中主要由预测器P1承担,而M步是在最小化损失函数,在网络中主要由反向传播过程承担,具体反向传播编码器参数更新细节如下: 问题(1)作为EM算法中的M步在网络反向传播过程中寻找最小化期望损失通过更新编码器参数实现: ,为权重参数,,为学习率; 问题(2)作为EM算法中的E步在基于当前来计算出数据对于的分布,是利用预测器P1进行求解: 实际迭代优化过程中,开始时预测器P1没有效果,从而,但随着迭代进行预测期P1会逐渐记录样本分布数据,使得与期望相逼近; 使得 迭代过程会根据设定的epoch数量M迭代重复进行M次,每次过程都完整的训练了所有的batch; 训练结束后得到数据X到表示空间的编码器D; 步骤4、将步骤3获得的编码器D的全连接层连接线性网络的线性层,得到神经网络f;同时,获取少量标注数据集; 步骤5、依据少量标注数据集再根据CROSSENTROPYLOSS进行梯度下降,经过N个epochs后得到适用于目标技术任务的神经网络f。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人厦门大学,其通讯地址为:361000 福建省厦门市思明区思明南路422号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由AI智能生成
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。