买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京世纪好未来教育科技有限公司申请的专利模型训练方法、装置、设备及计算机程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118297186B 。

龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410534211.7，技术领域涉及：G06N20/00；该发明授权模型训练方法、装置、设备及计算机程序产品是由刘子韬;刘常堃;刘天乔设计研发完成，并于2024-04-29向国家知识产权局提交的专利申请。

本模型训练方法、装置、设备及计算机程序产品在说明书摘要公布了：本公开提供一种模型训练方法、装置、设备及计算机程序产品。本公开通过将多个第一标签输入到待训练的大语言模型中，得到多个初始向量，并根据该多个初始向量、以及多个实际结果，计算出多个损失值。进一步，根据每个第一标签对应的初始向量，确定该第一标签对应的预测结果的多个概率值，并对该多个概率值进行多项式采样，得到该第一标签对应的预测结果。若该第一标签对应的预测结果和该第一标签对应的实际结果匹配，则去除该多个损失值中根据该第一标签对应的实际结果和初始向量计算得到的损失值，可降低大语言模型对高频文本组合的依赖度。从而有效降低了文本频率偏置对大语言模型训练过程的影响，提高了大语言模型的泛化能力和性能。

本发明授权模型训练方法、装置、设备及计算机程序产品在权利要求书中公布了：1.一种模型训练方法，所述方法包括： 将与原始文本相关的多个第一标签输入到待训练的大语言模型中，使得所述待训练的大语言模型输出多个初始向量，所述多个第一标签和所述多个初始向量一一对应，所述第一标签对应于所述原始文本中的至少一个文本单元，所述第一标签表示所述至少一个文本单元在预设表中的位置信息，所述预设表包括多个文本单元以及每个文本单元的位置信息；根据所述多个初始向量、以及所述多个第一标签分别对应的实际结果，计算出多个损失值； 针对所述多个第一标签中的每个第一标签，根据所述第一标签对应的初始向量，确定所述第一标签对应的预测结果的多个概率值，并对所述多个概率值进行多项式采样，得到所述第一标签对应的预测结果； 若所述第一标签对应的预测结果和所述第一标签对应的实际结果匹配，则去除所述多个损失值中根据所述第一标签对应的实际结果和所述第一标签对应的初始向量计算得到的损失值，得到剩余的损失值； 根据所述剩余的损失值，计算目标损失值，并根据所述目标损失值对所述待训练的大语言模型的参数进行更新； 其中，所述根据所述第一标签对应的初始向量，确定所述第一标签对应的预测结果的多个概率值，包括： 根据所述第一标签对应的初始向量，确定所述第一标签对应的预测结果分别是预设表中每个文本单元的概率值； 所述根据所述多个初始向量、以及所述多个第一标签分别对应的实际结果，计算出多个损失值，包括： 针对所述多个第一标签中的每个第一标签，计算所述第一标签对应的初始向量、所述第一标签对应的实际结果的向量表示之间的交叉熵损失值，所述交叉熵损失值是未归约的损失值，所述向量表示中的第j个元素为1，剩余元素为0，所述实际结果是预设表中的第j个文本单元。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京世纪好未来教育科技有限公司，其通讯地址为：100085 北京市海淀区小营西路10号院1号楼B座7层701室1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。