海棠元镜(天津)科技有限公司陈胜获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉海棠元镜(天津)科技有限公司申请的专利一种降低深度学习模型响应时延的方法、装置及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120123093B 。
龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510249305.4，技术领域涉及：G06F9/50；该发明授权一种降低深度学习模型响应时延的方法、装置及存储介质是由陈胜设计研发完成，并于2025-03-04向国家知识产权局提交的专利申请。
本一种降低深度学习模型响应时延的方法、装置及存储介质在说明书摘要公布了：本发明涉及一种降低深度学习模型响应时延的方法、装置及存储介质，应用于人工智能技术领域，包括：通过滑动窗口采样获取历史负载，基于历史负载使用动态联合预测机制获取初始负载预测数据，通过对应的负载实际数据序列获取误差补偿值，通过对初始负载预测数据进行误差补偿，得到最终负载预测数据；基于最终负载预测数据序列确定未来一段时间所需的实例总数；通过调整当前正在运行的实例数量以匹配未来一段时间所需的实例总数，从而降低大规模深度学习模型推理工作的响应时延；本申请通过精确的工作负载预测和资源调度，能够有效减少模型推理的响应时延，提高服务水平目标的达成率，并降低服务成本。
本发明授权一种降低深度学习模型响应时延的方法、装置及存储介质在权利要求书中公布了：1.一种降低深度学习模型响应时延的方法，其特征在于，所述方法包括： 通过滑动窗口采样方法获取大规模深度学习模型推理工作的历史负载数据序列； 基于所述历史负载数据序列，通过预搭建的多项式回归模型和长短期记忆网络LSTM模型获取大规模深度学习模型推理工作的初始负载预测数据序列； 获取初始负载预测数据序列对应的负载实际数据序列，根据所述初始负载预测数据序列以及对应的负载实际数据序列获取工作负载波动数据序列； 基于所述工作负载波动数据序列获取误差补偿值； 通过所述误差补偿值对初始负载预测数据序列进行误差补偿，得到最终负载预测数据序列； 基于所述最终负载预测数据序列确定未来一段时间内所需的计算吞吐量，根据单位实例的吞吐量以及未来一段时间内所需的计算吞吐量得到未来一段时间所需的实例总数； 通过调整当前正在运行的实例数量以匹配未来一段时间所需的实例总数，从而降低大规模深度学习模型推理工作的响应时延。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人海棠元镜(天津)科技有限公司，其通讯地址为：300110 天津市南开区科研东路西侧天津科技广场5-1-1204-1(天开园)；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由AI智能生成
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号