买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉烟台大学申请的专利一种基于解构式蒸馏的低资源语言翻译方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120671691B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511171149.0，技术领域涉及：G06F40/58；该发明授权一种基于解构式蒸馏的低资源语言翻译方法及系统是由童向荣;成实设计研发完成，并于2025-08-21向国家知识产权局提交的专利申请。

本一种基于解构式蒸馏的低资源语言翻译方法及系统在说明书摘要公布了：本发明涉及语言翻译技术领域，尤其是涉及一种基于解构式蒸馏的低资源语言翻译方法及系统，所述方法，包括获取低资源语言与通用语言的平行语料数据；以平行语料数据作为输入构建教师模型，基于预训练完成的BERT大语言模型构建学生模型主干并对学生模型进行优化，基于教师模型和学生模型计算跨任务注意力对齐损失，基于教师模型和学生模型输出执行logits蒸馏，基于训练完成的学生模型完成低资源语言翻译的部署，本发明通过构建经全参数微调的BERT教师模型，为学生模型提供高质量的知识迁移源，同时，借助跨任务注意力对齐与logits蒸馏的双重监督，有效弥补低资源语言数据不足导致的翻译精度问题。

本发明授权一种基于解构式蒸馏的低资源语言翻译方法及系统在权利要求书中公布了：1.一种基于解构式蒸馏的低资源语言翻译方法，其特征在于，包括： 获取低资源语言与通用语言的平行语料数据； 以平行语料数据作为输入构建教师模型，包括以BERT大语言模型为架构，并采用全参数微调对BERT大语言模型进行预训练，得到教师模型； 基于预训练完成的BERT大语言模型构建学生模型主干并对学生模型进行优化，包括对BERT大语言模型进行轻量化处理，采用结构解构式低秩扰动方法对学生模型进行优化； 基于教师模型和学生模型计算跨任务注意力对齐损失，包括提取教师模型和学生模型对应层的注意力矩阵，并通过L2范数衡量教师与学生模型注意力矩阵的差异； 基于教师模型和学生模型输出执行logits蒸馏，包括引入温度参数生成教师模型和学生模型的软化概率分布，计算KL散度作为蒸馏损失； 基于训练完成的学生模型完成低资源语言翻译的部署； 所述采用结构解构式低秩扰动方法对学生模型进行优化，包括通过共享编码矩阵对输入的低资源语言文本特征进行压缩，生成通用特征，之后定义任务条件解码路径，通过语言ID映射获得任务嵌入向量，利用结构调控网络将任务嵌入向量映射为中间矩阵，并与共享解码核相乘，生成结构控制解码矩阵，根据结构控制解码矩阵和通用特征生成整体扰动。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人烟台大学，其通讯地址为：264003 山东省烟台市莱山区清泉路30号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。