厦门理工学院林泽杭获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉厦门理工学院申请的专利基于精度感知的频差压缩器及梯度压缩方法、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120258058B 。
龙图腾网通过国家知识产权局官网在2025-08-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510741210.4,技术领域涉及:G06N3/0495;该发明授权基于精度感知的频差压缩器及梯度压缩方法、设备及介质是由林泽杭;林政;杨淼;杜侠;朱顺痣设计研发完成,并于2025-06-05向国家知识产权局提交的专利申请。
本基于精度感知的频差压缩器及梯度压缩方法、设备及介质在说明书摘要公布了:本发明提供的基于精度感知的频差压缩器及梯度压缩方法、设备及介质,用于在服务器与客户端间进行数据压缩与传输,以降低个性化联邦学习中的通信开销,涉及数据压缩技术领域。本发明的频差压缩器包括信息瓶颈稀疏化单元、频域压缩单元、动态量化单元与差分编码单元。原始梯度数据通过信息瓶颈稀疏化单元去除非关键梯度冗余成分生成稀疏梯度数据;通过频域压缩单元生成包含前N个高能量频域系数及其位置和数量的元数据包;通过动态量化单元将高精度浮点梯度数据自适应位宽映射为低位整数表示生成动态量化梯度数据;通过差分编码单元传输差分梯度给客户端,完成数据压缩与传输。本发明解决了梯度传输中通信开销大、无法尽可能保留梯度信息的问题。
本发明授权基于精度感知的频差压缩器及梯度压缩方法、设备及介质在权利要求书中公布了:1.一种基于精度感知的频差压缩器,用于在服务器与客户端间进行数据压缩与传输,以降低个性化联邦学习中的通信开销,其特征在于,包括: 信息瓶颈稀疏化单元,用于根据获取的服务器发送的原始梯度数据,通过动态阈值去除所述原始梯度数据中的非关键梯度冗余成分,并保留关键梯度生成稀疏梯度数据; 频域压缩单元,用于将所述稀疏梯度数据通过离散余弦变换转换为频域表示,得到频域系数,并根据预设压缩率仅保留前N个高能量频域系数,生成包含前N个高能量频域系数及其位置和数量的元数据包; 动态量化单元,用于将所述元数据包的高精度浮点梯度数据自适应位宽映射为低位整数表示,生成动态量化梯度数据,以优化通信数据量与信息精度的平衡; 差分编码单元,用于根据连续训练轮次间梯度的时间相关性,仅保留所述动态量化梯度数据中梯度变化部分,即差分梯度,传输给客户端,完成数据压缩与传输; 其中,所述动态量化单元具体用于: 根据所述元数据包的梯度分布特性,计算梯度的统计量;其中,所述统计量包括梯度的最小值、最大值和标准差; 基于所述统计量,动态确定量化位宽,用于在训练早期选择高位宽保留精度,在训练后期降低位宽以提高压缩率,表达式为: ; 其中,b为量化位宽;、、分别表示梯度的最大值、最小值和方差;为指数系数,用于防止除零;表示向下取整; 根据所述统计量与所述量化位宽计算缩放因子,以将梯度映射至整数范围,并四舍五入生成整数形式的量化梯度,表达式为: ; ; 其中,s为缩放因子;表示所述量化梯度;表示四舍五入操作;表示梯度元素; 将所述量化梯度、所述缩放因子与零点信息作为动态量化梯度数据进行传输,以通过客户端接收所述动态量化梯度数据进行线性变换恢复为高精度浮点梯度,表达式: ; 其中,为恢复的高精度浮点梯度; 若为有符号的梯度量化,需传输零点信息,即所述量化梯度中表示0的整数对应的数据,以便客户端正确解码;若为无符号的量化且0为最小值,所述零点信息为梯度的最小值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人厦门理工学院,其通讯地址为:361024 福建省厦门市集美区理工路600号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。