Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
专利交易 商标交易 积分商城 国际服务 IP管家助手 科技果 科技人才 会员权益 需求市场 关于龙图腾 更多
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 合肥工业大学张琨获国家专利权

合肥工业大学张琨获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉合肥工业大学申请的专利一种面向对比学习的动态课程的句子表示方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116341515B

龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310205380.1,技术领域涉及:G06F40/211;该发明授权一种面向对比学习的动态课程的句子表示方法是由张琨;刘畅;吴乐;张大操;汪萌设计研发完成,并于2023-03-06向国家知识产权局提交的专利申请。

一种面向对比学习的动态课程的句子表示方法在说明书摘要公布了:本发明公开了一种面向对比学习的动态课程的句子表示方法,属于自然语言处理领域,其步骤包括:1.对输入的数据通过数据增强的方式构建正样本。2.将经过数据增强后的正样本句子与锚点句子进行相似度计算,作为正样本的难度。3.对增强后的句子的难度进行降序排列。4.计算当前模型的能力来确定训练样本。5.训练中保存并加载最优模型并重新对样本难度进行划分。6.通过对比学习拉近与锚点句子更相似的正样本从而获得更高质量的句子表示。本发明通过利用课程学习的思想来缓解因数据增强导致句子表示质量不一致从而影响对比学习中模型的性能,来对增强后的正样本进行难度排序,从而能生成更高质量的句子表示。

本发明授权一种面向对比学习的动态课程的句子表示方法在权利要求书中公布了:1.一种面向对比学习的动态课程的句子表示方法,其特征在于,是按如下步骤进行: 步骤1、文本数据的预处理: 步骤1.1、获取n个句子S={s1,…,si,…,sn}并进行数据增强后,得到增强后的句子数据集,记为其中,si表示第i个锚点句子,n表示句子总数;表示第i个锚点句子si增强后的句子集合,并作为第i个正样本集合,且表示第i个锚点句子si增强后的第j个句子并作为一个正样本,m表示每个句子增强后的句子总数; 令S′表示预处理后的句子对集合,且 步骤2、构建对比学习模型,包括:编码模块、投影模块;其中,所述投影模块是由一层MLP线性层组成; 步骤2.1、所述编码模块对句子集合S′中的每个句子进行编码,获得表征其中,hi表示第i个锚点句子si的表征向量,表示增强后的第j个正样本句子的表征向量; 步骤2.2、所述投影模块将句子向量表示hi和映射到低维语义向量空间中,从而得到句子向量表示为其中,zi表示第i个锚点句子si的表征向量hi的低维句子表征向量;表示第j个句子的表征向量的低维句子表征向量; 步骤3、计算与hi在语义空间中的余弦相似度距离并作为第i个正样本集合中第j个句子的难度di,j,从而得到n×m个正样本的难度集合D={d1,1,…,di,j,…dn,m},并对难度集合D进行降序排序后得到排序后的难度集合,从而根据排序后的难度集合再对n×m个正样本进行排序,得到排序后的正样本句子对集合,将排序后的正样本句子对集合与其对应的锚点句子配对,从而得到排序后的句子对集合其中,Si表示排序后的第i个锚点句子,表示排序后的第i个锚点句子Si对应的正样本句子集合中的第j个正样本句子; 步骤4、正样本难度选取,令对比学习模型的总的训练迭代次数为T,当前迭代次数为t,并初始化t=1; 步骤4.1、利用式1计算当前第t迭代下对比学习模型的能力ct,且ct∈0,1]: 式1中,c0为对比学习模型的初始能力,并初始化为一个固定值; 步骤4.2、利用式2计算当前第t迭代下对比学习模型的正样本数量Pt: Pt=n×m×ct2 步骤4.3、令win为滑动窗口的尺寸,令正样本的训练区间为[Pt-win,Pt],且Pt≥win;从而按照训练区间[Pt-win,Pt]对排序后的句子对集合S″进行划分,得到当前第t迭代下由易到难的Rt个批次的训练样本;记rt为Rt个批次中任意第rt个训练句子对; 步骤5、利用式3构建第t迭代下Rt个批次的损失函数Lt; 式3中,λ表示调节参数,τ表示温度参数,表示排序后的第rt个锚点句子的表征向量的低维句子表征向量,表示排序后的第rt个锚点句子对应的正样本句子集合中的第j个正样本句子的表征向量的低维句子表征向量,sim表示余弦相似度; 步骤6、在当前第t迭代下将Rt个训练批次的训练样本按顺序依次输入所述对比学习模型中,并利用梯度下降法对所述对比学习模型进行迭代训练,同时计算所述损失函数Lt以更新模型参数,直到达到所述损失函数Lt收敛为止,从而得到当前第t迭代下的最优对比学习模型; 步骤7、将t+1赋值给t后,判断tT是否成立,若成立,则将第T迭代下的最优对比学习模型作为句子表示性能最好的模型,以实现更高质量的句子表示;否则,返回步骤4.1顺序执行。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人合肥工业大学,其通讯地址为:230009 安徽省合肥市包河区屯溪路193号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。