文章
2024-03-12
来自：开发者社区
字节跳动基于Apache Hudi构建EB级数据湖实践
接下来将分为场景需求、设计选型、功能支持、性能调优、未来展望五部分介绍Hudi在字节跳动推荐系统中的实践。 ...
文章
2020-09-14
来自：开发者社区
基于OSS的EB级数据湖
背景 随着数据量的爆发式增长，数字化转型成为整个IT行业的热点，数据也开始需要更深度的价值挖掘，因此需要确保数据中保留的原始信息不丢失，从而应对未来不断变化的需求。当前以oracle为代表的数据库中间件已经逐渐无法适应这样的需求，于是业界也不断的产生新的计算引擎，以便应对数据时代的到来。在此背景下，数据湖的概念被越来越多的人提起，希望能有一套系统在保留数据的原始信息情况下，又能快速对接多种不同的....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
{"cardStyle":"productCardStyle","productCardInfo":{"productTitle":"OpenLake 数据湖","productDescription":"基于开放可控的数据目录服务 Data Lake Formation（DLF）构建的大数据、搜索与 AI 一体化的多模态智能体数据解决方案。通过 Omini Catalog（5类数据目录）支持全模态数据，实现多引擎对同一份数据的平权协同计算，并通过 DataWorks 的 OpenLake Studio 提供 IDE 或 Notebook 方式的 Data+AI 集成开发。","productContentLink":"https://www.aliyun.com/product/openlake","isDisplayProductIcon":true,"productButton1":{"productButtonText":"产品详情","productButtonLink":"https://www.aliyun.com/product/openlake"},"productButton2":{"productButtonText":"文档","productButtonLink":"https://help.aliyun.com/document_detail/3011133.html"},"productButton3":{"productButtonText":"控制台","productButtonLink":"https://dataworks.console.aliyun.com/openlake"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"深度解读","productPromotionInfoFirstText":"阿里云OpenLake：AI 时代的全模态、多引擎、一体化解决方案","productPromotionInfoFirstLink":"https://developer.aliyun.com/article/1707898","productPromotionInfoSecondText":"【云栖发布】阿里云OpenLake及行业解决方案","productPromotionInfoSecondLink":"https://mp.weixin.qq.com/s/Ds4qSW4GwrUxRMINv9R0lQ"},{"$id":"1","productPromotionGroupingTitle":"核心功能","productPromotionInfoFirstText":"统一元数据与表管理","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/dlf/dlf-2-0/product-overview/what-is-data-lake-formation","productPromotionInfoSecondText":"存储成本优化","productPromotionInfoSecondLink":"https://help.aliyun.com/zh/dlf/dlf-2-0/user-guide/storage-optimization-usage-guide"},{"$id":"2","productPromotionGroupingTitle":"核心功能","productPromotionInfoFirstText":"实时湖流一体","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/flink/realtime-fluss/product-overview/what-is-alibaba-cloud-fluss","productPromotionInfoSecondText":"企业级高性能引擎","productPromotionInfoSecondLink":"https://mp.weixin.qq.com/s/3xeCurNSh_ccWe469mgK3A"},{"$id":"3","productPromotionGroupingTitle":"核心功能","productPromotionInfoFirstText":"大数据&AI 协同开发","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/dataworks/user-guide/basic-notebook-development","productPromotionInfoSecondText":"Agent&Copilot 集成","productPromotionInfoSecondLink":"https://help.aliyun.com/zh/dataworks/user-guide/dataworks-agent"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock","activityPromotionInfoBlock":[]}}