买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利一种可拓展大模型训练推理方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119940525B 。

龙图腾网通过国家知识产权局官网在2025-10-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411847995.5，技术领域涉及：G06N5/04；该发明授权一种可拓展大模型训练推理方法、装置、设备及介质是由谭明奎;郑泽康;张志扬;杜卿设计研发完成，并于2024-12-16向国家知识产权局提交的专利申请。

本一种可拓展大模型训练推理方法、装置、设备及介质在说明书摘要公布了：本发明公开了一种可拓展大模型训练推理方法、装置、设备及介质，其中方法包括：获取文本数据，构建训练集；构建大模型，所述大模型为堆叠式且在水平方向进行知识共享的模型结构，大模型包括多个子模型；构建一个自主动态判别器，每个子模型的输出都会输入自主动态判别器，自主动态判别器的输出作为最终的模型预测；采用训练集对大模型进行训练，将训练后的大模型用于实现文本生成任务。本发明以实现模型自主选择子模型为目标，通过自主动态判别器自主选择参与推理的子模型数量，进而提升大模型推理过程的效率，实现精度与速度的权衡，节省模型推理资源消耗。本发明可广泛应用于人工智能技术领域。

本发明授权一种可拓展大模型训练推理方法、装置、设备及介质在权利要求书中公布了：1.一种可拓展大模型训练推理方法，其特征在于，包括以下步骤： 获取文本数据，构建训练集； 构建大模型，所述大模型为堆叠式且在水平方向进行知识共享的模型结构，大模型包括多个子模型； 构建一个自主动态判别器，每个子模型的输出都会输入自主动态判别器，自主动态判别器的输出作为最终的模型预测； 采用训练集对大模型进行训练，将训练后的大模型用于实现文本生成任务； 在大模型训练的过程中还包括自主调整的步骤： 在整个模型进行训练时，对于不同层级的子模型，加入了形式一致的惩罚项，当后一级子模型输出结果的置信度小于前一级子模型，则对后一级子模型在损失函数上进行惩罚，以及在优化过程中达到区分不同层级子模型输出能力的目的，进而实现网络的自主模型规模选择； 所述对于不同层级的子模型，加入了形式一致的惩罚项，包括： 加入了两个损失函数惩罚项： 第一个为分层损失，对每一层的预测损失引入不同的权重系数，使得越顶层的子模型在损失函数中的权重越高；第i个子模型的预测损失为，损失定义为： 式中，为权重； 第二个为层级一致性惩罚项： 式中，为第个子模型的预测分布，为第个子模型的预测分布； 最终损失定义为： 所述大模型在推理阶段的工作方式如下： 在推理阶段，自主动态判别器会为每一个子模型维护一个阈值统计信息，其中： 式中，为第个子模型置信度的均值，为标准差，是一个可调的超参数；是第个子模型的阈值； 当输入数据通过模型时，计算第个子模型的输出置信度，比较输出置信度与预设的阈值，如果，则认为该层已经有足够自信的预测，提前退出，输出预测结果；否则，将输入传递给下一个子模型，直到某一层子模型的置信度达到阈值或达到最后一层子模型； 最终，自主动态判别器获取多个子模型的输出结果进行进一步融合获得下一个token预测： 式中，为每个子模型的输出，为子模型的数量； 进而实现各个子模型预测的集成，置信度较高的子模型会对最终预测贡献更多，最终依次循环完成整个文本生成任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510641 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。