买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州市滨江区浙工大人工智能创新研究院申请的专利基于LoRA-MoE的动态路由参数高效微调方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121480595B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610018919.6，技术领域涉及：G06N3/084；该发明授权基于LoRA-MoE的动态路由参数高效微调方法及系统是由俞山青;王少恒;陆耀;聂佳琦;张剑;宣琦;赵尚上;钟高伟设计研发完成，并于2026-01-08向国家知识产权局提交的专利申请。

本基于LoRA-MoE的动态路由参数高效微调方法及系统在说明书摘要公布了：本发明公开了一种基于LoRA‑MoE的动态路由参数高效微调方法及系统，涉及大模型微调技术领域。首先，基于多领域数据集构建基于异构专家架构的LoRA模块池。其次，通过动态门控网络对任务隐层特征进行编码，实现连续可微的专家激活，并采用温度衰减与熵正则约束提升专家分配的均衡性。随后，在推理阶段根据任务语义动态选择并加权融合多个LoRA参数增量，实现低成本的模型自适应更新。最后，通过困惑度与人工评估反馈对模块池进行持续优化，自动淘汰低效模块并生成新LoRA模块以保持任务覆盖性。本发明可在保证轻量化的前提下显著提升模型在复杂场景中的准确率与泛化能力，实现低资源条件下的大模型快速适配与动态优化。

本发明授权基于LoRA-MoE的动态路由参数高效微调方法及系统在权利要求书中公布了：1.一种基于LoRA-MoE的动态路由参数高效微调方法，其特征在于，具体步骤包括如下： 基于多领域数据集构建基于异构专家架构的LoRA模块池； 接收问答任务，并根据输入问题的语义描述进行粗粒度筛选，选取与所述问答任务适配度最高的若干个LoRA模块作为初步筛选结果；所述根据输入问题的语义描述进行粗粒度筛选的具体步骤为： 接收问答任务描述后，利用句向量编码模型生成问题表征向量； 将所述问题表征向量与所述LoRA模块池中各模块描述向量计算余弦相似度，初步筛选Top-M候选模块； 提取所述Top-M候选模块在基础模型隐层的响应特征，计算其与任务样本在不同层之间的特征距离，综合余弦相似度、欧氏距离与曼哈顿距离三类指标进行加权求和，确定与任务分布最接近的多个LoRA模块； 执行困惑度检测，基于困惑度检测结果，综合加权计算任务适配度，选取适配度最高的若干个LoRA模块作为初步筛选结果，作为进入细粒度动态选择阶段的输入集合； 通过动态门控网络对问答任务隐层特征进行编码，利用Gumbel-Softmax的概率稀疏路由机制实现连续可微分的专家激活，实现细粒度的专家动态选择；利用Gumbel-Softmax的概率稀疏路由机制实现连续可微分的专家激活的具体步骤为： 所述动态门控网络的输入为问答任务隐层特征的动态秩分配向量，输入维度为1024； 使用分组卷积处理输入特征，将1024维隐层向量压缩至256维，再通过低秩分解生成路由logits； 对每个专家生成Gumbel噪声，依据温度系数计算带噪logits； 基于所述带噪logits通过Softmax函数生成连续分布权重，在损失函数中加入专家权重分布的熵最大化正则项以均衡专家激活频率； 基于所述动态门控网络输出的权重，对各LoRA模块的参数增量进行加权求和，得到融合参数，将所述融合参数动态叠加至大语言模型，实现动态参数注入，输出推理结果； 生成推理结果后，实时计算困惑度及置信度，根据所述困惑度、所述置信度及人工评估反馈结果对所述LoRA模块池进行更新与再训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州市滨江区浙工大人工智能创新研究院，其通讯地址为：310056 浙江省杭州市滨江区长河街道湖西路575号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。