买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利预训练模型的推理优化方法及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121210158B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511780326.5，技术领域涉及：G06F9/50；该发明授权预训练模型的推理优化方法及电子设备是由程洋洋;程世超;杨洋;成祥;王安设计研发完成，并于2025-11-28向国家知识产权局提交的专利申请。

本预训练模型的推理优化方法及电子设备在说明书摘要公布了：本申请公开了一种预训练模型的推理优化方法及电子设备，涉及预训练模型的推理技术领域，本申请基于预训练模型的多个任务阶段的负载数据，确定各个子任务的优先级，进而根据子任务的优先级，为子任务分配计算单元，通过动态解耦各个任务阶段，实现计算资源的高效分配，提升资源利用率。另一方面，本申请通过双缓冲机制传输两个相邻任务阶段的第一数据，有利于缓解相关技术中层间数据传输效率低问题，提升硬件带宽利用率。因此解决了内存带宽闲置资源利用率低、层间传输效率低的技术问题，达到了提升资源利用率和带宽利用率的技术效果。

本发明授权预训练模型的推理优化方法及电子设备在权利要求书中公布了：1.一种预训练模型的推理优化方法，其特征在于，所述方法包括： 将待预测数据输入预训练模型，获取所述预训练模型的多个任务阶段的负载数据；其中，所述负载数据包括所处任务阶段、可用资源和所述任务阶段的时间优先级；所述任务阶段包括第一子任务和第二子任务；待预测数据包括文本数据或视频数据； 根据所述负载数据，确定所述第一子任务的第一优先级和所述第二子任务的第二优先级； 根据所述第一优先级，将所述第一子任务分配至第一计算单元，以通过所述第一计算单元执行第一子任务，得到第一数据； 根据所述第二优先级，确定分配给所述第二子任务的第二计算单元；将所述第一数据通过双缓冲机制传输至所述第二计算单元的目标层，以在所述目标层基于所述第一数据执行所述第二子任务，得到所述预训练模型的推理结果； 基于所述第一数据执行所述第二子任务，得到所述预训练模型的推理结果，包括： 将所述第一数据输入预测模型对解码输出进行预测，得到候选序列； 若所述候选序列与所述第一数据的匹配概率大于或等于预设概率阈值，将所述候选序列作为所述推理结果； 或者，若所述候选序列与所述第一数据的匹配概率小于预设概率阈值，基于所述第一数据执行解码任务，得到所述推理结果；其中，所述预设概率阈值为可接受的所述预测模型的最小预测准确度； 所述将所述第一数据通过双缓冲机制传输至所述第二计算单元前，所述方法还包括： 为所述第一数据添加元数据护照，以对传输的所述第一数据进行压缩； 所述将所述第一数据通过双缓冲机制传输至所述第二计算单元的目标层，包括： 将所述添加元数据护照的第一数据通过双缓冲机制传输至所述第二计算单元的目标层。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。