重庆长安汽车股份有限公司魏小军获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉重庆长安汽车股份有限公司申请的专利面向数据湖的数据读写方法、装置、设备、介质及车辆获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119883132B 。
龙图腾网通过国家知识产权局官网在2025-11-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510055157.2,技术领域涉及:G06F3/06;该发明授权面向数据湖的数据读写方法、装置、设备、介质及车辆是由魏小军设计研发完成,并于2025-01-14向国家知识产权局提交的专利申请。
本面向数据湖的数据读写方法、装置、设备、介质及车辆在说明书摘要公布了:本发明涉及数据读写技术领域,公开了面向数据湖的数据读写方法、装置、设备、介质及车辆,本发明基于当前批次的日志标识和偏移量信息将获取的原始消息实时写入消息队列中,同时将原始消息写入数据湖的数据文件中,采用基于消息队列和数据文件的双写,完成数据湖写入操作,有利于保证数据全局一致性。在进行数据读取时,对数据文件进行批次读取并对消息队列进行实时读取,得到数据湖存储的目标原始消息,既能保证信息获取的完整性和全面性,又能保证数据读取的实时性。本发明基于消息队列和数据文件实现数据湖数据双写,提高了数据湖数据读取效率。
本发明授权面向数据湖的数据读写方法、装置、设备、介质及车辆在权利要求书中公布了:1.一种面向数据湖的数据读写方法,其特征在于,所述方法包括: 记录数据写入时当前批次的日志标识以及消息队列的偏移量信息; 基于日志标识和偏移量信息将获取的原始消息实时写入消息队列中,同时将所述原始消息写入数据湖的数据文件中,并在检测到预设的数据提交周期到达时,根据所述偏移量信息、日志标识和数据文件,生成快照文件; 在进行数据读取时,根据数据湖中快照文件对应的偏移量信息、日志标识以及数据文件,对所述数据文件进行批次读取得到第一存储数据并对所述消息队列进行实时读取得到第二存储数据; 根据第一存储数据和第二存储数据,得到数据湖中存储的目标原始消息; 所述根据第一存储数据和第二存储数据,得到数据湖中存储的目标原始消息,包括: 基于所述第二存储数据,得到最新消息数据和最新状态数据; 基于所述最新状态数据,对所述最新消息数据进行有效性验证; 当检测到所述最新消息数据有效性验证通过时,根据所述第一存储数据和所述最新消息数据,得到数据湖中存储的目标原始消息; 所述基于所述最新状态数据,对所述最新消息数据进行有效性验证,包括: 对所述最新消息数据进行解码,得到第一日志标识和最新偏移量; 对所述最新状态数据进行解码,得到第二日志标识、最新初始偏移量和最新当前偏移量,并基于所述最新初始偏移量和最新当前偏移量确定偏移量范围; 当检测到所述第一日志标识与所述第二日志标识一致,且所述最新偏移量不处于所述偏移量范围时,判定所述最新消息数据有效性验证通过。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆长安汽车股份有限公司,其通讯地址为:400023 重庆市江北区建新东路260号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励