买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉沈阳雅译网络技术有限公司申请的专利一种应用于知识蒸馏的知识选择方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116384490B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310323105.X，技术领域涉及：G06N5/022；该发明授权一种应用于知识蒸馏的知识选择方法是由杨迪;王之光设计研发完成，并于2023-03-30向国家知识产权局提交的专利申请。

本一种应用于知识蒸馏的知识选择方法在说明书摘要公布了：本发明公开一种应用于知识蒸馏的知识选择方法，包括以下步骤：1使用文本分类任务的数据训练教师模型；2使用训练后的教师模型来抽取不同类型的知识，并把这些知识进行分类；3基于训练后的教师模型来初始化学生模型；4使用REINFORCE算法训练知识选择模块；5使用被训练过后的知识选择模块来训练最终的学生模型，训练时知识选择模块根据对应教师模型和学生模型的特征来选择学生模型应该学习的类型的知识。本发明方法可学习知识蒸馏过程中适合学生模型学习的知识类型，这使得在知识蒸馏过程中可以在每一个训练步中根据教师模型和学生模型的状态来选择适合学生模型所学习的知识类型。

本发明授权一种应用于知识蒸馏的知识选择方法在权利要求书中公布了：1.一种应用于知识蒸馏的知识选择方法，其特征在于包括以下步骤： 1使用文本分类任务的数据训练教师模型； 2使用训练后的教师模型来抽取不同类型的知识，并把这些知识进行分类； 3基于训练后的教师模型来初始化学生模型； 4使用REINFORCE算法训练知识选择模块； 5使用被训练过后的知识选择模块来训练最终的学生模型，训练时知识选择模块根据对应教师模型和学生模型的特征来选择学生模型应该学习的类型的知识； 步骤4通过使用REINFORCE算法来训练一个知识选择模块，具体步骤为： 401在训练的每一步中，分别提取教师模型和学生模型最后一层的表示向量，然后将其连接起来作为知识选择模块的特征输入Fx，表示包含对应知识蒸馏过程中教师模型和学生模型的学习状态和数据特征； 402知识选择模块根据输入的特征决策当前状态下学生模型应该学习的类型的知识，让学生模型进行学习； 403在知识蒸馏完成后，计算学生模型在校验集上的得分，然后用该得分和学生模型初始状态在校验集上的得分做差作为获得对应知识选择模块决策的奖励值R； 404使用奖励值R和知识选择模块在步骤402中所做出决策的损失和来更新知识选择模块的参数； 405重复步骤401到404，直到知识选择模块模型参数收敛； 步骤5中，使用步骤4所训练的知识选择模块决策学生模型在训练过程的每一步应该学习的类型的知识，具体步骤如下： 501提取当前训练步中教师模型和学生模型最后一层的输出表示向量，并拼接成为特征Fx，输入知识选择模块获得当前训练步应该给学生模型进行学习的知识类型； 502根据知识选择模块提供的决策，来更新学生模型的参数，最终实现了知识选择。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人沈阳雅译网络技术有限公司，其通讯地址为：110004 辽宁省沈阳市和平区三好街78号东软电脑城C座11层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。