支付宝(杭州)信息技术有限公司陆金星获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉支付宝(杭州)信息技术有限公司申请的专利一种用于文本类模型的精调阶段蒸馏方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116521864B 。
龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310327646.X，技术领域涉及：G06F16/35；该发明授权一种用于文本类模型的精调阶段蒸馏方法及装置是由陆金星;郭亚;赵智源;祝慧佳设计研发完成，并于2023-03-30向国家知识产权局提交的专利申请。
本一种用于文本类模型的精调阶段蒸馏方法及装置在说明书摘要公布了：本说明书实施例公开了一种用于文本类模型的精调阶段蒸馏方法，包括：获取训练集样本以及经过预训练的教师模型，所述教师模型包括多个隐藏层；在所述教师模型的多个隐藏层中选择至少两个指定层进行聚合，得到聚合后隐藏层；根据所述聚合后隐藏层和教师模型中的剩余非指定层生成学生模型；采用教师模型蒸馏学生模型；将蒸馏后的学生模型重新作为教师模型，直至无法从教师模型中选择出至少两个指定层时，将此时的教师模型作为目标模型。相应地，本说明实施例还公开了用于文本类模型的精调阶段蒸馏装置。
本发明授权一种用于文本类模型的精调阶段蒸馏方法及装置在权利要求书中公布了：1.一种用于文本类模型的精调阶段蒸馏方法，所述方法包括： 获取训练集样本； 获取经过预训练的教师模型，所述教师模型包括多个隐藏层； 在所述教师模型的多个隐藏层中选择至少两个指定层； 对选定的各指定层聚合，得到聚合后隐藏层； 根据所述聚合后隐藏层和教师模型中的剩余非指定层生成学生模型； 采用教师模型蒸馏学生模型； 将蒸馏后的学生模型重新作为教师模型，直至无法从教师模型中选择出至少两个指定层时，将此时的教师模型作为目标模型。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人支付宝(杭州)信息技术有限公司，其通讯地址为：310063 浙江省杭州市西湖区西溪路556号8层B段801-11；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励