买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉平安科技(深圳)有限公司申请的专利基于弹性加载的NLP模型推断加速方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116702906B 。

龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310724805.X，技术领域涉及：G06N5/04；该发明授权基于弹性加载的NLP模型推断加速方法、装置、设备及介质是由瞿晓阳;王健宗;鲁凯设计研发完成，并于2023-06-16向国家知识产权局提交的专利申请。

本基于弹性加载的NLP模型推断加速方法、装置、设备及介质在说明书摘要公布了：本发明涉及自然语言处理技术领域，揭露了一种基于弹性加载的NLP模型推断加速方法，包括：通过水平切分角度对自然语言模型的层级方向切分；提取自然语言模型中的注意力矩阵及全连接层，通过垂直切分角度对注意力矩阵及全连接层进行切分；根据目标场景计算切分层级的层级重要度，根据目标场景计算切分分片的分片重要度；根据层级重要度及分片重要度生成自然语言模型的子模型；将子模型中的模型加载任务与推断计算任务进行交错叠加执行。此外，本发明还涉及区块链技术，医疗场景数据可存储于区块链的节点。本发明还提出一种基于弹性加载的NLP模型推断加速装置、设备以及存储介质。本发明可以提高模型推断效率，并在医疗领域中有很大的应用前景。

本发明授权基于弹性加载的NLP模型推断加速方法、装置、设备及介质在权利要求书中公布了：1.一种基于弹性加载的NLP模型推断加速方法，其特征在于，所述方法包括： 获取预设的自然语言模型，通过预设的水平切分角度对所述自然语言模型的层级方向切分，得到切分层级； 提取所述自然语言模型中每一层的注意力矩阵及全连接层，通过预设的垂直切分角度对所述注意力矩阵及所述全连接层进行切分，得到切分分片； 根据预设的医疗数据集计算所述切分层级的层级重要度，根据所述医疗数据集计算所述切分分片的分片重要度，所述医疗数据集包括患者的医疗记录及询问问题； 根据所述层级重要度及所述分片重要度生成所述自然语言模型的子模型，所述子模型包括n×m个模块，其中n为模块层数，m为每层模块包含的分片数； 将所述子模型中的模型加载任务与推断计算任务进行交错叠加执行，得到执行效率，根据所述执行效率确定所述自然语言模型的推断加速； 所述将所述子模型中的模型加载任务与推断计算任务进行交错叠加执行，得到执行效率，包括： 获取所述子模型中的第一层及第二层； 通过所述第一层执行所述模型加载任务，得到加载任务时间，以及通过所述第二层执行所述推断计算任务，得到计算任务时间； 根据所述加载任务时间及所述计算任务时间计算所述执行效率； 将所述子模型中的第一层作为第i+1层，所述子模型中的第二层作为第i层，则在第i+1层执行模型加载任务的同时，第i层执行模型的推断计算任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人平安科技(深圳)有限公司，其通讯地址为：518000 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。