买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广州市申迪计算机系统有限公司申请的专利用于公文写作的大语言模型训练方法、计算机装置和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118410776B 。

龙图腾网通过国家知识产权局官网在2025-11-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410420602.6，技术领域涉及：G06F40/16；该发明授权用于公文写作的大语言模型训练方法、计算机装置和存储介质是由张静;吕志聪设计研发完成，并于2024-04-09向国家知识产权局提交的专利申请。

本用于公文写作的大语言模型训练方法、计算机装置和存储介质在说明书摘要公布了：本发明公开了一种用于公文写作的大语言模型训练方法、计算机装置和存储介质，包括在预训练模型的权重矩阵并行增加低秩矩阵，使用公文数据集对预训练模型和低秩矩阵执行第一训练过程获得基底模型，使用奖励数据集对基底模型执行基于人类反馈强化学习的第二训练过程获得奖励模型，对奖励模型执行近端策略优化获得大语言模型等步骤。本发明能够训练得到大语言模型，可以向大语言模型输入公文写作指令提示语，大语言模型生成符合人类写作和阅读习惯的公文。通过使用大语言模型生成公文，可以辅助进行公文写作，从而有利于提高公文写作效率，保持公文写作质量稳定。本发明广泛应用于公文写作技术领域。

本发明授权用于公文写作的大语言模型训练方法、计算机装置和存储介质在权利要求书中公布了：1.一种用于公文写作的大语言模型训练方法，其特征在于，所述用于公文写作的大语言模型训练方法包括： 获取公文数据集和奖励数据集；所述公文数据集包括多个公文写作指令提示语和公文文本，所述奖励数据集包括多个公文写作指令提示语； 获取通用大模型Qwen-72B，作为预训练模型； 在所述预训练模型的权重矩阵并行增加低秩矩阵，使用所述公文数据集对所述预训练模型和所述低秩矩阵执行第一训练过程，获得基底模型；在所述第一训练过程中，固定所述权重矩阵的参数，对所述低秩矩阵进行更新，在所述第一训练过程完成后，将所述低秩矩阵的参数合并至所述权重矩阵； 将所述公文写作指令提示语输入至所述基底模型； 获取所述基底模型响应所述公文写作指令提示语生成的多个待评分文本； 获取各所述待评分文本各自的评分值； 根据各所述评分值中的最高评分值和最低评分值，确定损失函数的值； 根据所述损失函数的值对所述基底模型进行参数更新； 以参数更新后的所述基底模型，作为所述奖励模型； 其中，所述损失函数为 σr 为所述损失函数的值，表示所述基底模型的权重矩阵参数为时，根据公文写作指令提示语以及所述基底模型响应于生成的待评分文本对应的评分值，为最高评分值，为最低评分值，σ为sigmoid函数，r为对应的文本与对应的文本的边际标签修正；所述边际标签修正用于描述对应的文本与对应的文本之间的差距； 对所述奖励模型执行近端策略优化，获得大语言模型； 所述使用所述公文数据集对所述预训练模型和所述低秩矩阵执行第一训练过程，获得基底模型，包括： 将所述预训练模型拆分为多个子模型，将各个子模型分别发放至相应的子进程中； 分别在每个子进程中，对所述子模型并行增加相应的低秩矩阵，使用所述公文数据集对所述子模型和所述低秩矩阵执行第一训练过程； 将各个子进程训练后的所述子模型合并，获得所述基底模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广州市申迪计算机系统有限公司，其通讯地址为：510600 广东省广州市越秀区中山一路金羊一街2号1楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。