光环云数据有限公司史松轩获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉光环云数据有限公司申请的专利基于数据特征的动态显存分配方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120315866B 。
龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510374248.2,技术领域涉及:G06F9/50;该发明授权基于数据特征的动态显存分配方法及系统是由史松轩;楼蒙设计研发完成,并于2025-03-27向国家知识产权局提交的专利申请。
本基于数据特征的动态显存分配方法及系统在说明书摘要公布了:本发明提出基于数据特征的动态显存分配方法及系统,涉及数据存储技术领域,方法包括在GPU显存中预分配多个不同大小的显存块,形成三级显存池;实时获取模型输入的数据特征,建立多维特征向量;基于LSTM网络构建时序预测模型,通过输入连续多次推理的特征向量序列,预测显存需求值;根据预测的显存需求值及场景特征矩阵选择分级分配策略;构建显存依赖关系图,动态追踪显存块的最早释放时间,通过复用策略优化显存利用率;监控GPU显存状态指标;根据所述显存状态指标,触发显存优化策略;通过精准预测显存需求、合理分级分配、优化显存利用率及应对不同场景,解决深度学习模型推理中显存管理难题,提升显存使用效率与系统稳定性。
本发明授权基于数据特征的动态显存分配方法及系统在权利要求书中公布了:1.基于数据特征的动态显存分配方法,其特征在于,所述方法包括: 在GPU显存中预分配多个不同大小的显存块,形成包含快速缓存池、连续显存块池和分页式显存区的三级显存池; 实时获取模型输入的数据特征,建立多维特征向量; 基于LSTM网络构建时序预测模型,通过输入连续多次推理的特征向量序列,预测显存需求值; 根据预测的显存需求值及场景特征矩阵选择分级分配策略; 构建显存依赖关系图,动态追踪显存块的最早释放时间,通过复用策略优化显存利用率; 监控GPU显存状态指标;根据所述显存状态指标,触发显存优化策略; 所述根据预测的显存需求值及场景特征矩阵选择分级分配策略;包括: 当预测显存小于或等于第一阈值时,则优先从快速缓存池预加载热块;若快速缓存池无法满足需求,则分配连续显存块; 当预测显存大于第一阈值且小于或等于第二阈值时,直接分配连续显存块; 当预测显存大于第二阈值时,启用分页式显存进行分配,同时,根据场景特征执行相应的分配策略; 所述构建显存依赖关系图,动态追踪显存块的最早释放时间,通过复用策略优化显存利用率;包括: 构建显存依赖关系图,节点表示模型层的显存需求,边表示数据依赖关系; 通过拓扑排序确定显存块的最早释放时间ERSK; 动态更新ERSK,当新层依赖该显存块时,将该ERSK扩展至新依赖层的完成时间; 所述复用策略包括时间维度复用和空间维度复用;所述时间维度复用包括同一显存块在不同时间被不同层使用;所述空间维度复用包括:同一时间窗内,不同层的非重叠显存区域共享物理显存。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人光环云数据有限公司,其通讯地址为:100007 北京市东城区后永康胡同17号10号楼1层1965室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励