买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海友道智途科技有限公司申请的专利一种基于transformer模型的精度调优方法、系统、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119886346B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411963191.1，技术领域涉及：G06N5/04；该发明授权一种基于transformer模型的精度调优方法、系统、设备及存储介质是由谢晓汶;余俊峰;吴育春;刘豹;庞梓维;郗上;岳邦珊;衡量设计研发完成，并于2024-12-30向国家知识产权局提交的专利申请。

本一种基于transformer模型的精度调优方法、系统、设备及存储介质在说明书摘要公布了：本发明公开一种基于transformer模型的精度调优方法、系统、设备及存储介质，通过启发式地迭代搜索混合精度策略快速恢复transformer模型的精度，获得与全精度模型精度基本对齐的FP32+FP16混合模型，同时也能够保证推理性能与原始FP16模型接近，该方法是一种基于启发式迭代搜索的混合精度配置方法，用于优化transformer模型的精度和推理性能，在精度调优的同时能够在FP16精度部署上保持与全FP16模型接近的推理性能；通过按层类型选择FP32网络层的启发式策略，以保持模型的精度；结合cos相似度指标和预设相似度阈值的模型精度与性能评估机制，保证精度调优的结果；同时，能够在不同NVIDIA芯片平台上运行，兼容性好。

本发明授权一种基于transformer模型的精度调优方法、系统、设备及存储介质在权利要求书中公布了：1.一种基于transformer模型的精度调优方法，其特征在于，该方法运行在NVIDIA芯片平台，使用Python脚本结合TensorRT工具进行优化，具体包括如下步骤： 全精度模型推理获取真值：使用ONNXRuntime库在Python中加载已经训练好的ONNX源模型，将无标签样本数据输入到模型中，通过推理获得模型的推理结果，并将推理结果作为全精度模型的真值，记为GT； 初始化FP32层配置：针对ONNX源模型中的所有网络层集合L，进行初始化FP32层配置，确定网络层中保持高精度的网络层，以及降为低精度的网络层； 模型转换至部署平台：根据网络层精度的配置，使用TensorRT的trtexec工具将ONNX源模型转换至部署平台所支持的格式，得到优化后的混合模型； 混合模型推理获取预测值：将上述无标签样本数据作为输入，使用TensorRT工具对优化后的混合模型进行推理，得到混合模型对每个输入的预测值，记为Pred； 模型精度评估：将真值GT与预测值Pred中对应相同输入的输出结果进行逐个比较，计算精度评估结果S，将S与预设相似度阈值Sth进行比较，SSth，则模型的预测精度满足目标需求，进行下一步模型推理性能评估，S≤Sth，则模型的预测精度不满足目标需求，进行调整FP32层配置； 模型推理性能评估：使用TensorRT工具对优化后的混合模型进行推理耗时测试，计算平均推理耗时Tavg，将Tavg与预设性能阈值Tth进行比较，Tavg-TthTth*0.95，则推理性能满足需要，否则，不满足需要，进行调整FP32层配置； 调整FP32层配置：随机采样选择高精度的网络层，并将获取的高精度网络层配置为低精度网络层，将调整后的混合模型再次转换至部署平台，并进行下一次迭代； 输出结果模型：经过上述的迭代过程，当模型精度和推理性能都满足需求时，输出目标模型，完成transformer模型在低精度部署上的精度调优过程。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海友道智途科技有限公司，其通讯地址为：200438 上海市杨浦区军工路2500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。