北京大学王奕森获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京大学申请的专利一种基于特征解耦性的可解释自监督预训练方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117217285B 。
龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311223744.5,技术领域涉及:G06N3/0895;该发明授权一种基于特征解耦性的可解释自监督预训练方法是由王奕森;章祺设计研发完成,并于2023-09-21向国家知识产权局提交的专利申请。
本一种基于特征解耦性的可解释自监督预训练方法在说明书摘要公布了:本发明提供了一种基于特征解耦性的可解释自监督预训练方法,通过在自监督对比学习计算损失函数中引入重要性矩阵,实现特征解耦,并根据重要性矩阵对角线元素的大小得到特征重要性排序,提升自监督预训练算法的可解释性。包括如下步骤:初始化神经网络;初始化重要性矩阵;对神经网络进行m次迭代训练,每次训练包括:数据集采样、对样本进行数据增强、利用神经网络进行特征编码、构建正负样本对、计算损失函数、使用梯度反向传播算法计算损失函数关于神经网络和重要性矩阵的梯度并更新神经网络和重要性矩阵;m次迭代训练后神经网络编码输出的特征实现互相解耦,特征重要性矩阵对角线元素的值越大,对应特征维度越重要,从而得到特征重要性排序。
本发明授权一种基于特征解耦性的可解释自监督预训练方法在权利要求书中公布了:1.一种基于特征解耦性的可解释自监督预训练方法,其特征在于,在自监督对比学习损失中引入重要性矩阵,吸收最优自监督特征表示中的自由变量,实现特征解耦,并根据重要性矩阵对角线元素的大小得到特征重要性排序,提升自监督预训练算法的可解释性; 定义如下参数: 神经网络记为f,神经网络编码器的输出维度记为d,重要性矩阵记为S,神经网络训练迭代次数为m,每次训练中采样的样本个数为n,单个样本记为xi,采样的n个样本记为将两次数据增强后的2n个样本记为2n个样本经过神经网络特征编码后输出2n个特征的集合表示为在计算损失函数过程中,将特征集合中的2n特征两两配对,得到单个正样本对记为fxi1,fxi2,得到n个正样本对记为fx,fx+,从数据集中随机选择的与xi不相关的样本记为采样n个与不相关的样本记为 经过神经网络特征编码输出的特征记为 经过神经网络特征编码后输出n个特征的集合记为将中n个特征和中2n个特征分别配对,得到单个负样本对记为2n个负样本对记为fx,fx-,对正样本对取数学期望记为Ex,对负样本对取数学期望记为单位矩阵记为I,最终得到优化后的神经网络记为f*,得到优化后的特征重要性矩阵记为S*; 该方法具体包括以下步骤: S1.初始化神经网络f,设置神经网络编码器输出的特征维度为d; S2.初始化重要性矩阵S,S的维度与神经网络f输出特征的维度d相匹配,其非对角元素为0,对角元素为随机的非负数; S3.对神经网络进行m次迭代训练,每次迭代执行如下操作: S31.从数据集中采得n个样本对于每个样本xi,进行两次数据增强,共得到2n个样本同时从数据集中随机选择与xi不相关的样本采得n个不相关样本记为 S32.将数据增强后的样本经过神经网络进行特征编码,得到2n个特征的集合同时将经过神经网络特征编码得到n个特征的集合 S33.构建正样本对,将2n个特征两两配对,得到单个样本的正样本对记为fxi1,fxi2,共能得到n个正样本对,记为fx,fx+,同时构建负样本对,将中n个特征和中2n个特征分别配对,得到单个样本的负样本对记为共能得到2n个负样本对,记为fx,fx-; S34.计算损失函数: 等式右侧的三大项中,第一项衡量正样本对的相似度,第二项衡量负样本对的不相似度,第三项是一个正则化项,确保特征是正交的,其中Ex是对正样本对取数学期望,是对负样本对取数学期望,I是d维单位矩阵,等式计算得到损失函数值Ltrif,S; S35.使用梯度反向传播算法计算损失函数关于神经网络参数和重要性矩阵S的梯度,即和在优化过程中,梯度反向传播算法结合最优化方法更新神经网络f和重要性矩阵S以最小化损失函数; S4.经过m次迭代训练后,得到优化后的神经网络f*和特征重要性矩阵S*;其中,通过f*编码得到的特征实现了互相解耦,同时S*对角线元素代表着对应特征维度的重要性,对角线元素的值越大,对应的维度越重要,根据S*对角线元素的大小得到特征重要性排序。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京大学,其通讯地址为:100871 北京市海淀区颐和园路5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。