行至智能(北京)技术有限公司陈杰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉行至智能(北京)技术有限公司申请的专利一种完全无监督的大语言模型微调训练平台获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118171650B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410326021.6,技术领域涉及:G06F40/289;该发明授权一种完全无监督的大语言模型微调训练平台是由陈杰;陶冶;韩奇设计研发完成,并于2024-03-21向国家知识产权局提交的专利申请。
本一种完全无监督的大语言模型微调训练平台在说明书摘要公布了:本发明公开了一种完全无监督的大语言模型微调训练平台,包括源数据集管理模块,用于对上传文本进行处理,生成用于符合微调训练的数据;模型微调训练模块,用于选择微调训练的模型以及对训练后的模型进行测试评价;数据推理生成模块,用于基于任务需求将相关的数据输入对应的模型,并对模型生成的数据进行打分审核;本发明极大降低大模型微调训练数据准备阶段人力成本和时间成本,所使用的预训练数据推理大模型的实际效果极佳,生成的数据超越普通业务人员人工编写标注的数据,这极大地保证了模型微调训练的效果质量。
本发明授权一种完全无监督的大语言模型微调训练平台在权利要求书中公布了:1.一种完全无监督的大语言模型微调训练平台,其特征在于,包括: 源数据集管理模块,用于对上传文本进行处理,生成用于符合微调训练的数据; 模型微调训练模块,用于选择微调训练的模型以及对训练后的所述模型进行测试评价; 数据推理生成模块,用于基于任务需求将相关的所述数据输入对应的所述模型,并对所述模型生成的数据进行打分审核; 其中,所述源数据集管理模块包括数据管理子模块和数据处理子模块,所述数据管理子模块具有对所述上传文本进行增删改查功能,所述数据处理子模块包括OCR解析处理和文本段落分割处理,所述OCR解析处理包括将不同格式的文档转换为文本数据,所述文本段落分割处理包括将所述文本数据进行初步分割,获得多个段落;利用文本相似度计算算法去提取每个所述段落的主题,若所述段落的主题相同则不分割,若所述段落的主题不相同,则按照所述主题进行分割;将分割后的所述段落按照模型理解长度进行分割; 将所述文本数据进行初步分割,获得多个段落包括: 判断所述文本数据是否存在章节格式; 若存在,则将所述文本数据按照章节初步分割; 若不存在,则对所述文本数据进行关键词分割; 对所述文本数据进行关键词分割包括: 将所述文本数据按照固定长度进行分割,获得固定长度的文本块; 利用TF-IDF算法提取每个所述文本块中关键词; 计算每个文本块之间关键词的重叠度,若重叠度达到预设阈值,则将所述文本块合并为一个段落; 利用文本相似度计算算法去提取每个所述段落的主题包括: 利用TF-IDF算法提取每个所述段落中多个关键词; 将所述段落和多个所述关键词通过词袋模型转换为向量; 利用余弦相似度算法计算每个段落向量和每个关键词向量之间的余弦相似度; 若所述余弦相似度均大于预设阈值,则所述段落主题相同; 否则,则所述段落存在不同主题; 按照所述主题进行分割包括: 获取所述余弦相似度大于预设阈值的所述关键词,提取所述关键词所在的句子; 将所述句子以及所述句子之间的文本合并成一个子段落,剩余分割成另一子段落; 分别对所述子段落重复相似度计算直至所述子段落均为相同主题; 所述余弦相似度算法公式为: 式中:A和B分别为两个文本向量,和分别是向量A和B的第i个元素,n是向量中的元素数; 所述模型微调训练模块包括基座大模型管理子模块、微调大模型管理子模块和微调训练子模块,所述基座大模型管理子模块包括开源大模型,所述微调大模型管理子模块包括进行微调训练获得的模型,其包括专用问答推理大模型、专用摘要推理大模型、专用任务规划推理大模型、专用领域翻译大模型和专用风格写作推理大模型,所述微调训练子模块用于对训练后所述模型进行测试评价; 所述数据推理生成模块通过使用预训练的各种数据推理生成大模型,包含: 专用问答推理大模型:基于源数据集中的文本段落自动推理生成大规模高质量问答句对数据,问答句对数据是微调训练领域问答大模型所需用到的数据格式; 专用摘要推理大模型:基于源数据集中的文本段落自动推理生成大规模高质量摘要数据,用来训练摘要生成大模型; 专用任务规划推理大模型:基于已有业务系统数据,自动推理生成大规模高质量任务规划数据,用来训练任务规划大模型; 专用领域翻译大模型:基于源数据集中的中外文自动推理生成大规模高质量原文及翻译数据,用来训练专用领域翻译大模型; 专用风格写作推理大模型:基于源数据集中特定风格自动推理转写出大规模高质量专用风格文本数据,用来训练专用风格写作大模型; 其中,推理任务管理模块用于创建推理任务、选择源数据集、配置任务参数、选择特定领域和输入个性化提示词,这些内容都将作为大模型进行问答对推理生成时的考虑因素。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人行至智能(北京)技术有限公司,其通讯地址为:100080 北京市海淀区紫金数码园3号楼9层907;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励