山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)刘弢获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)申请的专利一种基于异构计算平台的冗余数据并行预处理优化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120508400B 。
龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510998377.9,技术领域涉及:G06F9/50;该发明授权一种基于异构计算平台的冗余数据并行预处理优化方法是由刘弢;张晓曼;秦晗;郭莹设计研发完成,并于2025-07-21向国家知识产权局提交的专利申请。
本一种基于异构计算平台的冗余数据并行预处理优化方法在说明书摘要公布了:本发明涉及一种基于异构计算平台的冗余数据并行预处理优化方法,属于电子信息技术领域,包括:首先,在数据预处理阶段,确定冗余数据;其次,实时标记有效数据位置,并统计有效数据数量;然后,根据原存储数据的个数、维度、类型确定阈值,通过有效数据的数量,提出智能数据结构选择策略:最后,在精度保障阶段,采用双精度选择性重算机制:对标记的有效数据实施全精度计算,而对已识别的冗余数据仅执行一次双精度计算并缓存结果,在后续迭代中直接复用。本发明有效解决了异构计算中由数据冗余导致的计算资源利用率低下、跨设备通信带宽占用过高以及存储IO瓶颈等问题。
本发明授权一种基于异构计算平台的冗余数据并行预处理优化方法在权利要求书中公布了:1.一种基于异构计算平台的冗余数据并行预处理优化方法,其特征在于,包括: 首先,在数据预处理阶段,创建单精度副本,利用基数排序对单精度副本在首次迭代前进行排序,确定冗余数据; 其次,在迭代计算过程中,基于单精度副本以及确定的冗余数据建立动态监测机制,在计算过程中通过并行比较算法实时标记有效数据位置,并统计有效数据数量; 然后,根据原存储数据的个数、维度、类型确定阈值,通过有效数据的数量,提出智能数据结构选择策略: 当有效数据的数量超过阈值时,确定为密集模式,保留原始数据格式;否则,继续判断有效数据是否为单值,当有效数据为单值时,确定为单有效模式,此时采用坐标偏移+差值存储格式;当有效数据不为单值时,确定为多有效稀疏模式,运用坐标列表与公共值优化相结合的混合稀疏存储格式; 最后,在精度保障阶段,采用双精度选择性重算机制:对标记的有效数据实施全精度计算,而对已识别的冗余数据仅执行一次双精度计算并缓存结果,在后续迭代中直接复用; 计算完成后,获取设备端重新计算存储的结果;获取结果后,将结果的每一个特征值,进行遍历,输出到文本中; 智能数据结构选择策略的具体实现过程包括: 根据计算得到的有效数据的数量uniquecount进行判断;uniquecount分为以下三种情况: 当有效数据的数量uniquecount为单值时,确定为单有效模式,采用坐标偏移+差值存储格式,设采用坐标偏移+差值存储格式的结构体为sqarerou,结构体sqarerou中设置3个参数,包括:冗余数据值、有效数据值、有效数据位置; 当有效数据的数量uniquecount不为单值时,判断数据的存储模式是多有效稀疏模式还是密集模式;具体的存储模式判定通过以下公式得出: 判断为多有效稀疏模式时,采用坐标列表与公共值优化相结合的混合稀疏存储格式,设该结构体为Sparecommon,同时创建有效数据数组uniquevalue用于存储有效数据;设混合稀疏存储格式中包括冗余数据、有效数据数组、有效数据位置;其中,双精度占用8byte,整型占用4byte;设有效数据数组uniquevalue维度为d,则混合稀疏存储格式的总数据量Dsparse表示为: Dsparse=uniquecount+1*8+uniquecount*d*4#1判断为密集模式时,采用原始的存储格式即将数据按照顺序存储在数组中,设存储N个数据,则原始数组Originalvalue传输的总数据量Ddense表示为: Ddense=N*8#2判断数据的存储模式是多有效稀疏模式还是密集模式;包括: 确定判断阈值kthreshold为: 其中,N是指存储数据的个数,d是指有效数据数组的维度; 当uniquecountkthreshold时,选择密集模式,即采用原始数据存储,否则,选择多有效稀疏模式。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院),其通讯地址为:250014 山东省济南市历下区科院路19号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励