买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利一种推理请求处理方法、装置、设备及可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119323260B 。

龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411460324.3，技术领域涉及：G06N5/04；该发明授权一种推理请求处理方法、装置、设备及可读存储介质是由刘邦国设计研发完成，并于2024-10-18向国家知识产权局提交的专利申请。

本一种推理请求处理方法、装置、设备及可读存储介质在说明书摘要公布了：本申请在计算机技术领域，公开了一种推理请求处理方法、装置、设备及可读存储介质，该方法包括：接收客户端发送的目标推理请求后，获取处理顺序位于目标推理请求之前的推理请求；提取推理请求的关键字，并在数据库中查找与关键字匹配的推理数据；基于推理数据确定的近似推理长度；利用近似推理长度，确定推理请求的推理时间；基于推理时间，向客户端反馈目标推理请求的等待时间。本申请中的推理时间充分考虑了不同推理请求的差异性，并结合历史推理请求记录以及不同分类下的平均推理长度等信息。因而，该推理时间更加贴切实际推理时间，因而向客户端反馈的等待时间更为精准，可以有效改善用户体验。

本发明授权一种推理请求处理方法、装置、设备及可读存储介质在权利要求书中公布了：1.一种推理请求处理方法，其特征在于，应用于语言模型的推理端，包括： 接收客户端发送的目标推理请求后，在用户数与请求数超过计算卡的负载的情况下，获取处理顺序位于所述目标推理请求之前的推理请求；所述目标推理请求为语言类型问题； 提取所述推理请求的关键字，并在数据库中查找与所述关键字匹配的历史推理请求记录；其中，提取所述推理请求的关键字，包括：对推理请求进行切片后，将各个切片与数据库中的关键字进行匹配，将匹配所得的关键字作为推理请求的关键字； 若查找到所述历史推理请求记录，则利用所述历史推理请求记录中的推理长度，确定所述推理请求的近似推理长度； 若未查找到所述历史推理请求记录，则确定所述推理请求在所述数据库中的所属分类，并利用所述分类对应的平均推理长度确定所述近似推理长度； 利用所述近似推理长度，确定所述推理请求的推理时间； 基于所述推理时间，向所述客户端反馈所述目标推理请求的等待时间； 其中，利用所述近似推理长度，确定所述推理请求的推理时间，包括： 获取当前的推理算力； 将所述近似推理长度与所述推理算力的比值确定为所述推理时间；其中，推理时间的计算公式为：，其中，S为服务器推理算力，为最终预估的推理时间； 其中，利用所述历史推理请求记录中的推理长度，确定所述推理请求的近似推理长度，包括： 获取所述历史推理请求记录的出现次数，及每次出现时所对应历史推理请求的推理长度； 利用所述出现次数和所述推理长度，确定所述关键字相关推理请求的平均推理长度； 将所述平均推理长度确定为所述近似推理长度；其中，近似推理长度计算公式为；其中，M为该请求关键字在数据库中出现的次数，为数据库中第i次记录的推理长度，为该请求的平均推理长度； 在数据库中查找与所述关键字匹配的历史推理请求记录之前，还包括： 创建所述数据库； 在所述数据库中创建推理服务的统计项并分别设置统计项对应的平均推理长度；其中，所述统计项包括不同维度下对推理请求的类别归属，所述维度包括行业、学科和类型； 构建多个关键字，并确定关键字对应推理请求初始的推理长度和推理时间； 将关键字与不同维度下所属的统计项建立映射关系； 设置不同维度的推理权重占比； 相应地，在向所述客户端反馈所述目标推理请求的推理结果之后，还包括： 在所述数据库中记录所述目标推理请求对应的目标推理请求记录；其中，所述目标推理请求记录包括所述目标推理请求的关键字、实际推理长度、实际推理时间； 根据关键字与在不同维度下所属统计项的映射关系，在所述数据库中，确定所述目标推理请求记录所属的统计项； 基于所述实际推理长度，计算所述目标推理请求记录所属的统计项分别对应的平均推理长度； 根据所述目标推理请求记录所属的统计项分别对应的平均推理长度，更新所述数据库中所述目标推理请求记录所属的统计项的平均推理长度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215100 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。