买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉昆明理工大学申请的专利一种基于大模型微调的中文语法纠错方法、系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119849482B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411964598.6，技术领域涉及：G06F40/253；该发明授权一种基于大模型微调的中文语法纠错方法、系统是由李英;李哲;刘枵;王丹;余正涛;杨晶婷设计研发完成，并于2024-12-30向国家知识产权局提交的专利申请。

本一种基于大模型微调的中文语法纠错方法、系统在说明书摘要公布了：本发明涉及一种基于大模型微调的中文语法纠错方法、系统。该方法使用Qwen2‑7B模型生成纠错指令数据集；依据复杂度、质量和多样性对指令数据集进行筛选；采用LORA方法对Qwen2‑7B模型进行监督式微调，重点优化自注意力层和前馈网络层，以增强模型对长距离依赖和上下文信息的处理能力；然后使用Qwen2‑72B模型对纠错数据集进行评分，生成偏好标签，并利用这些标签进一步优化Qwen2‑7B模型，从而提升其响应质量；使用直接偏好优化方法，结合偏好数据集对模型进行训练，调整参数以最小化损失函数，从而增强模型对偏好响应的倾向性。该方法通过多层次的优化策略，有效提高了中文语法纠错的准确性。

本发明授权一种基于大模型微调的中文语法纠错方法、系统在权利要求书中公布了：1.一种基于大模型微调的中文语法纠错方法，其特征在于：所述方法包括以下步骤： 步骤1：采集含中文语法错误的语料并传入Qwen2-7B模型中以生成纠错指令集； 步骤2：依据复杂度、质量、多样性三个指标筛选出纠错指令集中的优质数据； 步骤3：使用LORA方法和筛选出的纠错指令集对Qwen2-7B模型进行监督式微调； 步骤4：通过Qwen2-72B模型对数据集打分、生成偏好标签，再利用Qwen2-7B模型生成响应并进行判别，实现了模型的自我优化和响应质量提升并得到偏好数据集； 步骤5：使用直接偏好DPO方法优化Qwen2-7B模型； 所述步骤4具体步骤如下 步骤4.1：将构建的数据集传入Qwen2-72B模型中根据模型内部机制进行打分，根据模型打分，选择得分最高的纠错答案作为偏好标签，以构建出偏好数据集； 步骤4.2：Qwen2-7B模型依据偏好数据集针对同一语句生成纠错答案并模仿在偏好数据集中得分高的纠错选项特征再次生成响应； 步骤4.3：Qwen2-72B模型对于再次生成的响应进行思考和解释，并作出判别； 步骤4.4：依据Qwen2-72B生成的判别作为训练信号，使用包括模型认为优质的纠错答案和需要改进的纠错答案再次训练Qwen2-7B模型，使训练信号对齐Qwen2-72B模型的内部指示； 所述步骤5具体步骤如下： 步骤5.1：将偏好数据集传入经过微调后的模型Qwen2-7B； 步骤5.2：使用Qwen2-72B模型作为偏好模型，衡量给定奖励函数和经验偏好数据间的一致性； 步骤5.3：定义二元交叉熵损失函数为DPO的目标函数，以衡量模型输出与偏好数据集中的首选答案之间的差异，在该函数中增加偏好响应的对数概率，减少非偏好响应的对数概率，计算损失函数梯度并使用损失函数更新模型参数； 步骤5.4：使用目标函数和准备好的偏好数据集对Qwen2-7B进行训练，并调整模型参数以最小化损失函数，使模型更倾向于生成偏好响应； 步骤5.5：建立基于语法支持的反馈机制，收集模型输出反馈，并使用Qwen2-72B模型对输出结果进行判别； 步骤5.6：根据收集到的反馈和Qwen2-72B模型生成的判别，重复计算损失 梯度和更新参数，从而不断提升模型性能。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人昆明理工大学，其通讯地址为：650039 云南省昆明市一二一大街文昌路68号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。