Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 华东师范大学王心悦获国家专利权

华东师范大学王心悦获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉华东师范大学申请的专利一种基于半监督教师学生模型的小样本文本分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117150021B

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311205167.7,技术领域涉及:G06F16/353;该发明授权一种基于半监督教师学生模型的小样本文本分类方法是由王心悦;高明设计研发完成,并于2023-09-19向国家知识产权局提交的专利申请。

一种基于半监督教师学生模型的小样本文本分类方法在说明书摘要公布了:本发明公开了一种基于半监督教师学生模型的小样本文本分类方法,先选择标签提示模版,将数据集构建成一个统一的带有掩码占位符的提示训练样本,冻结预训练语言参数,在预训练语言模型每一层进行低秩矩阵分解,注入可训练参数,使用提示训练样本训练语言模型,得到教师模型,同时引入无标注数据,使用教师模型的输出概率引导学生模型的学习,并且构造不同类别的原型,根据样本到原型向量的离散程度度量其不确定性并给予每个样本不同的权重,实现学生模型学习去噪。本发明通过注入可训练参数,降低了训练成本,通过引入无标注数据,通过原型去噪使得学生模型学习更加高质量的信息,提升小样本分类的准确性和效率。

本发明授权一种基于半监督教师学生模型的小样本文本分类方法在权利要求书中公布了:1.一种基于半监督教师学生模型的小样本文本分类方法,其特征在于,该方法包括: 1选择目标任务领域数据集按比例划分为有标注数据、无标注数据以及测试数据,构建提示模版,将有标注数据转化为提示模板形式,得到经处理的第一类训练样本; 2将预训练语言模型参数冻结,采用低秩自适应即Low-RankAdaptation,LoRA的方法,将可训练的秩分解矩阵注入到预训练语言模型的每一层,减少模型可训练参数量,得到基础模型; 3使用所述经处理的第一类训练样本训练所述基础模型,得到教师模型; 4将无标注数据转化为提示模板形式,得到经处理的第二类训练样本,将基础模型作为学生模型,将经处理的第二类训练样本分别输入教师模型和学生模型,使所述学生模型在训练过程学习所述教师模型的分类概率分布;在训练过程中使用原型加权损失,多轮迭代后,得到目标学生模型,使用目标学生模型对测试数据实现小样本文本分类;其中: 所述步骤1,具体包括: 将目标任务领域数据集训练集按比例划分,以1∶20∶200的比例划分有标注数据、无标注数据和测试数据,构建提示模板函数f: X=fx 其中,x为有标注数据,f为选定的提示模板函数,X为输出第一类训练样本; 模版函数中的模版形式: 1x,这是[MASK] 2x,这句话的主题是[MASK] 其中[MASK]为掩码占位符,模板形式为人类可理解的自然语言形式; 步骤3所述训练所述基础模型,具体包括:获取所述模型对掩码文本占位符的对应预测结果,以第一损失函数对所述模型的网络参数进行调整,更新网络参数后的模型为教师模型;所述第一损失函数根据所述掩码文本占位符的对应预测结果与有标注数据标注结果是否相同进行损失求取。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华东师范大学,其通讯地址为:200241 上海市闵行区东川路500号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。