AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践
【阅读原文】戳：AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践 背景 在数字化转型进程中，用户交互行为产生的多维度数据已成为企业的重要战略资产。以短视频平台为例，基于用户点赞事件的实时推荐算法能显著提升用户活跃度和平台粘性。这类实时数据主要通过Apache Kafka...
AutoMQ x OSS 的 Iceberg 数据入湖的最佳实践
背景 在数字化转型进程中，用户交互行为产生的多维度数据已成为企业的重要战略资产。以短视频平台为例，基于用户点赞事件的实时推荐算法能显著提升用户活跃度和平台粘性。这类实时数据主要通过 Apache Kafka 流处理平台进行传输，通过其扇出（Fanout）机制实现多业务系统的并行消费。企业的数据应用需求呈现双重特性：一方面需要实时流处理能力，另一方面需要依托历史数据进行多维聚合分析。大数据...
通过 SLS 实现日志大数据入湖 OSS
1. 目标读者 对日志数据做采集并投递 OSS 进行存储或构建数据湖的用户。 2. 方案背景 近年来，日志数据的规模、种类在快速增长。围绕企业的生产、运营，大量的 IT 系统依赖日志数据作为生产资料。数据湖技术在日志生态中扮演不可或缺的角色： 日志数据种类繁多，缺乏 schema 规划，湖有较强的灵活性。 大量的日志具有写多读少的特性，湖上有...
Kafka数据入湖OSS实践
本质上，Kafka提供的是消息队列的能力，为消息从生产者流向消费中提供稳定、高效、可靠的渠道。但Kafka本身并不提供海量数据存储的能力，这意味着重读kafka中历史数据将不可能。同时，Kafka没有提供开箱即用的数据处理工具（尽管你可以采用kafka streams或者flink等，但这需要你自己写代码逻辑），使得对原始数据进行加工处理成本较高。我们知道，阿里云OSS提供了灵活、海量、...
通过SLS十分钟完成数据入湖OSS
背景数据湖是一类存储数据自然/原始格式的系统或存储，通常是对象块或者文件，包括原始系统所产生的原始数据拷贝以及为了各类任务而产生的转换数据，包括来自于关系型数据库中的结构化数据（行和列）、半结构化数据（如CSV、日志、XML、JSON）、非结构化数据（如email、文档、PDF等）和二进制数据（如图像、音频、视频）。数据湖的优势是能够在低存储成本下很好满足长期存储、查询、分析、读取，并在此基础上....
Kafka数据入湖OSS实践
本质上，Kafka提供的是消息队列的能力，为消息从生产者流向消费中提供稳定、高效、可靠的渠道。但Kafka本身并不提供海量数据存储的能力，这意味着重读kafka中历史数据将不可能。同时，Kafka没有提供开箱即用的数据处理工具（尽管你可以采用kafka streams或者flink等，但这需要你自己写代码逻辑&#...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
对象存储OSS
对象存储 OSS 是一款安全、稳定、高性价比、高性能的云存储服务，可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等各种使用场景存储任意数量的数据，以及进行任意位置的访问，同时通过丰富的数据处理能力更便捷地使用数据。
+关注