B 站构建实时数据湖的探索和实践
摘要：本文整理自 bilibili 大数据实时团队资深开发工程师周晖栋，在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分：背景和痛点场景探索基建优化总结和展望点击查看原文视频 & 演讲PPT一、背景和痛点在大数据场景应用中，业务不仅要计算数据结果，而且要保障时效性。目前，我司演化出两条链路。时效性高的数据走 Kafka、Flink 实时链路....
已经构建数据湖，也集成到dataworks，但是为啥在数据地图看不到外部项目的元数据信息？
已经构建数据湖，也集成到dataworks，但是为啥在数据地图看不到外部项目的元数据信息？
谈谈如何构建现代数据体系架构（数据湖+数据仓库）
序言 如何构建当前企业数据体系架构呢?其实与许多其他技术一样，它实际上取决于企业要实现目标。以下特征通常与数据体系架构相关: •来自内部系统、云计算系统的数据，以及来自合作伙伴和第三方的外部数据 •不同数据源和多结构化格式的数据 •流媒体实时数据,批量加载,或两者的结....
谈谈如何构建受治理的数据湖
受治理的数据湖将增加企业数据资产的价值。对于那些在运营战略中优先考虑数据的组织来说，数据湖是理想的解决方案。当多个团队需要访问企业数据时，安全的数据共享是一个关键因素。为了帮助管理这种使用，组织可以依赖一个受治理的数据湖，该湖容纳原始结构化和非结构化数据，这些数据是可信的、安全的和受治理的。对于那些从数据中获取价值的组织，包括关于客户、员工、交易和其他资产的数据，受治理的数据湖为识别、理解、共享....
只有构建受治理的数据湖才能获取可信任的业务洞察力
受治理的数据湖将增加价值。对于那些在运营战略中优先考虑数据的组织来说，数据湖是理想的解决方案。当多个团队需要访问企业数据时，安全的数据共享是一个关键因素。为了帮助管理这种使用，组织可以依赖一个受治理的数据湖，该湖容纳原始结构化和非结构化数据，这些数据是可信的、安全的和受治理的。对于那些从数据中获取价值的组织，包括关于客户、员工、交易和其他资产的数据，受治理的数据湖为识别、理解、共享和自信地对这些....
基于数据湖格式构建数据湖仓架构 ——毕岩 阿里巴巴技术专家
一、数据湖&数仓&湖仓新架构的提出往往是为了解决老架构存在的问题，而数据湖的出现也是为了解决传统数仓架构遗留的问题。阿里云对数据湖的定义为：数据湖是统一存储池，可对接多种数据输入方式，可以存储任意规模的结构化、半结化、非结化数据，也可以无缝对接到多种计算分析处理的引擎和平台，可以直接对数据做处理和分析，打破数据孤岛，洞察业务价值等。同时，阿里云还提供了冷热分层转换能力，覆盖数据全....
基于 Delta Lake 构建数据湖仓体系
导读：今天很高兴能与大家分享如何通过 Delta Lake 构建湖仓架构。全文将围绕以下四个部分展开：Delta Lake 的基本概念和发展历程，以及 2.0 版本的关键特性Delta Lake 的内核解析以及关键技术围绕 Delta Lake 湖格式的生态建设Delta Lake 在数仓领域的经典案例点击查看直播回放Delta Lake 及 2.0 特性关于数据湖，数仓以及数据湖仓的概念已经在....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
