买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利一种语言模型动态结构化高效微调方法及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119962581B 。

龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510083046.2，技术领域涉及：G06N3/0455；该发明授权一种语言模型动态结构化高效微调方法及电子设备是由王飞;丁长兴;刘晔设计研发完成，并于2025-01-20向国家知识产权局提交的专利申请。

本一种语言模型动态结构化高效微调方法及电子设备在说明书摘要公布了：本发明公开了一种语言模型动态结构化高效微调方法及电子设备，其中方法包括：获取需要微调的自然语言模型；获取自然语言下游任务的数据集，设计提示语句，用于引导模型理解下游任务；采用数据集和提示语句对自然语言模型进行微调；其中，微调过程中包括：使用零阶优化方法更新模型的参数；使用结构化剪枝方案调整前向传播过程；使用遗传算法和随机选择方法动态调整剪枝结构；使用强化学习策略决定探索或者执行最佳的剪枝方案。本发明引入了结构化剪枝、强化学习和遗传算法来解决零阶优化过程计算开销大、训练时间长的问题。本发明可以在维持模型表现的前提下降低零阶优化在所有模型和任务上的计算开销，可广泛应用于自然语言模型微调领域。

本发明授权一种语言模型动态结构化高效微调方法及电子设备在权利要求书中公布了：1.一种语言模型动态结构化高效微调方法，其特征在于，包括以下步骤： 获取需要微调的自然语言模型；获取自然语言下游任务的数据集，设计提示语句，用于引导模型理解下游任务； 采用数据集和提示语句对自然语言模型进行微调； 其中，微调过程中包括： 使用零阶优化方法更新模型的参数； 使用结构化剪枝方案调整前向传播过程； 使用遗传算法和随机选择方法动态调整剪枝结构； 使用强化学习策略决定探索或者执行最佳的剪枝方案； 微调过程具体包括： S3、-贪心策略决定进行探索还是利用：贪心策略实施的方案是首先从0到1之间产生一个随机数，判断随机数与探索概率的大小，当时，执行探索过程，当时，执行利用过程；在每次执行完贪心策略之后，更新探索概率，探索过程中会逐渐减低到最小探索概率； S4、遗传算法更新模型结构化稀疏方案，缓冲区获取回报最高的方案：当-贪心算法选择探索阶段时，采用遗传算法更新稀疏的层结构信息：当缓冲区存储的信息小于时，缓冲区域没有被蓄满，采用随机抽样的方式生成一个包含个元素的层稀疏集合；当缓冲区被蓄满时，统计缓冲区中所有的层的出现概率，按出现概率从缓冲区中所有的层序号中不重复地抽取个层序号组成；当-贪心算法选择利用阶段时，选择缓冲区中最靠前，即回报最高的稀疏方案； S5、根据结构化系数方案对模型添加倍的扰动放缩因子进行扰动，计算第一损失值； S6、根据结构化系数方案对模型添加倍的扰动放缩因子进行扰动，计算第二损失值； S7、根据结构化系数方案对模型添加倍的扰动放缩因子进行扰动，恢复模型参数； S8、根据第一损失值和第二损失值估算零阶梯度； S9、使用零阶随机梯度下降方案更新模型参数； S10、维护更新稀疏方案和回报缓冲区：采用序列更新函数来更新缓冲区，其中是剪枝的层信息的集合，是奖励分数；循环步骤S3-S10预设次数，获得损失最小的模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510641 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。