北京趋动智能科技有限公司张伟韬获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京趋动智能科技有限公司申请的专利大模型高并发推理的存储分层加速系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120848818B 。
龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511365236.X,技术领域涉及:G06F3/06;该发明授权大模型高并发推理的存储分层加速系统是由张伟韬;邹懋;陈飞;王鲲设计研发完成,并于2025-09-23向国家知识产权局提交的专利申请。
本大模型高并发推理的存储分层加速系统在说明书摘要公布了:本发明涉及人工智能基础设施技术领域,具体地说,涉及大模型高并发推理的存储分层加速系统,包括访问热度采集模块、压力分析模块、迁移执行模块和异构存储池;所述访问热度采集模块用于实时采集模型参数的访问频率A和访问延迟D。本发明通过设置访问热度采集模块和压力分析模块,达到实时感知系统压力并精准触发迁移的效果,访问热度采集模块持续监控模型参数的访问频率和延迟,压力分析模块基于历史峰值和动态阈值计算存储压力指数,当指数超过预设阈值时,立即触发迁移操作,解决了金融交易高峰期因存储IO瓶颈导致的延迟超标问题,使系统在每秒数万笔并发请求下仍能保持毫秒级响应,避免了因延迟抖动引发的风险误报和漏报。
本发明授权大模型高并发推理的存储分层加速系统在权利要求书中公布了:1.大模型高并发推理的存储分层加速系统,其特征在于,所述系统包括访问热度采集模块、压力分析模块、迁移执行模块和异构存储池; 所述访问热度采集模块用于实时采集模型参数的访问频率和访问延迟; 所述压力分析模块用于根据访问热度采集模块采集到的数据计算存储压力指数,并结合预设阈值,判断是否需要触发数据迁移操作,具体的: 基于访问频率、访问延迟、历史访问频率峰值及预设权重系数计算存储压力指数; 预设存储压力指数阈值,并将计算得到的存储压力指数与预设的存储压力指数阈值进行对比,当存储压力指数超过阈值时,则触发数据迁移操作指令至迁移执行模块; 所述异构存储池用于集成不同性能和成本的存储介质,形成分层存储结构,其包括高速存储层、中速存储层以及冷存储层,所述高速存储层用于存放高频访问的热点数据,所述中速存储层用于存放访问频率中等的数据,所述冷存储层用于存储访问频率较低的数据; 所述迁移执行模块用于根据压力分析模块发送的数据迁移操作指令执行数据迁移操作,将高频参数迁移至高速存储层; 所述迁移执行模块在执行数据迁移操作时,针对单个模型参数分别执行以下操作: 基于末次访问时间和当前时间计算该参数的热度衰减因子; 根据热度衰减因子和当前访问频率计算该参数的迁移权重指数; 将计算得到的迁移权重指数按照降序排序,生成优先级队列; 仅将队列中排名前一定比例的模型参数迁移至高速存储层,其中该比例为迁移比例,采用动态调整的方法进行实时更新; 所述系统还包括并发调度模块,用于在存储压力指数超过设定阈值时执行资源分配,具体的: 实时获取某类请求的并发量及存储层响应速度; 基于并发量和存储层响应速度计算负载均衡指数; 预设负载均衡指数阈值,并将计算得到的负载均衡指数与预设阈值进行对比,当超过阈值时,并发调度模块执行三级响应策略。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京趋动智能科技有限公司,其通讯地址为:100085 北京市海淀区中关村大街1号10层1022;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励