抖音集团电商流量实时数仓建设实践
摘要:本文整理自抖音集团电商数据工程师姚遥老师在 Flink Forward Asia 2024 分论坛中的分享。内容主要分为五个部分: 1、业务和挑战 2、电商流量建模架构 3、电商流量流批一体 4、大流量任务调优 5、总结和展望 01.业务和挑战 第一部分给大家介绍一下流量到底是什么?流量是用户在各个产品当中进行一系列行为活动的数据集合,其数据载点是的买点,买点经过采集分发到达了...
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(1)
客户案例:菜鸟集团数仓建模作者:王智龙、董晃,菜鸟集团一、 菜鸟末端业务介绍1. 菜鸟末端业务简介菜鸟驿站建设的初衷是面向社区和校园,提供最后一公里物流服务平台,为消费者提供包裹代收、裹代寄等服务,在此基础之上基于社区生活,完善末端驿站的服务能力,为消费者提供更多生活服务,比如驿站洗衣、家电清洗等,这就是菜鸟末端业务的定位。接下来介绍菜鸟末端整体业务的情况。2. 菜鸟末端业务大图业务大图主要分上....
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(2)
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(1) https://developer.aliyun.com/article/1230933?groupCode=tech_library3. 菜鸟末端业务数仓架构整体设计基于上面的业务大图,接下来讲讲我们的数仓架构:最左边是菜鸟集团使用的统一大数据开发治理平台DataWorks,DataWorks 中有很多的功能模块,包含数据....
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(3)
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(2) https://developer.aliyun.com/article/1230932?groupCode=tech_library二、 模型管理整体规划1. 数仓规范化-菜鸟模型管理整体目标菜鸟数仓从稳定性、扩展性、时效性、易用性和成本几大方面制定了模型管理的目标。1) 稳定性:完善我们数据产出时效和数据质量稳定性,以我....
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(4)
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(3) https://developer.aliyun.com/article/1230931?groupCode=tech_library三、 数据建模平台建设DataWorks 数据建模平台是菜鸟、大淘系(淘宝/天猫)、盒马、本地生活等多个部门和阿里云DataWorks 团队共建的基于维度建模的数据数仓建模平台,菜鸟集团作为较....
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(5)
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(4) https://developer.aliyun.com/article/1230930?groupCode=tech_library3. 核心功能—规范定义规范定义分为分层划域和表名规范两个部分:1) 分层划域我们将数据分为ODS、DWD、DWS、ADS 和DIM 五层。我们有12 大级的业务分类,菜鸟就是其中的一个业务分....
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(6)
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(5) https://developer.aliyun.com/article/1230928?groupCode=tech_library6. 核心功能—代码模式代码模式是在研发过程中比较提效的一个功能。有时候上游的产品或者研发发布了功能之后,会给数仓开发同学一个简单的脚本来告诉数仓怎么来取数。数仓开发同学需要评估是不是要在数仓....
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(7)
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(6) https://developer.aliyun.com/article/1230927?groupCode=tech_library四、 总结&展望1. 菜鸟数据模型管理建设成果菜鸟数仓团队从2020 年开始与DataWorks 团队不断共建智能数据建模产品,从最初版简单的录入系统,到集成逆向建模、多表克隆、多种引....
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(8)
《全链路数据治理-智能数据建模 》——客户案例:菜鸟集团数仓建模(7) https://developer.aliyun.com/article/1230926?groupCode=tech_library五、 提问Q:菜鸟的建模是基于DataWorks 做定制化开发吗?A:建模平台是我们和DataWorks 共建的,我们是建模平台的一个使用方,也会把使用中的一些问题提给DataWorks 来迭....
中再集团引入阿里云AnalyticDB云原生数仓,助力保险合同新准则项目建设
中国再保险(集团)股份有限公司(以下简称“中再集团”) 日前通过引入阿里云云原生数据仓库AnalyticDB,完善企业级大数据技术体系,支持保险合同新准则项目建设,以及面向未来的数据驱动企业架构落地。中再集团是中国境内唯一的本土再保险集团,于2015年在香港联交所主板上市挂牌交易,在全球再保险业内排名亚洲最大、全球第六。中再集团自2018年发布“数字中再”战略,积极构建“聚资源、建平台、造生态”....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
云原生数据仓库AnalyticDB MySQL版您可能感兴趣
- 云原生数据仓库AnalyticDB MySQL版破解
- 云原生数据仓库AnalyticDB MySQL版ai
- 云原生数据仓库AnalyticDB MySQL版解决方案
- 云原生数据仓库AnalyticDB MySQL版微信
- 云原生数据仓库AnalyticDB MySQL版supabase
- 云原生数据仓库AnalyticDB MySQL版应用
- 云原生数据仓库AnalyticDB MySQL版入选
- 云原生数据仓库AnalyticDB MySQL版beam
- 云原生数据仓库AnalyticDB MySQL版融合
- 云原生数据仓库AnalyticDB MySQL版data
- 云原生数据仓库AnalyticDB MySQL版mysql
- 云原生数据仓库AnalyticDB MySQL版数据仓库
- 云原生数据仓库AnalyticDB MySQL版云原生
- 云原生数据仓库AnalyticDB MySQL版postgresql
- 云原生数据仓库AnalyticDB MySQL版数据
- 云原生数据仓库AnalyticDB MySQL版adb
- 云原生数据仓库AnalyticDB MySQL版阿里云
- 云原生数据仓库AnalyticDB MySQL版架构
- 云原生数据仓库AnalyticDB MySQL版数据库
- 云原生数据仓库AnalyticDB MySQL版同步
- 云原生数据仓库AnalyticDB MySQL版产品
- 云原生数据仓库AnalyticDB MySQL版查询
- 云原生数据仓库AnalyticDB MySQL版sql
- 云原生数据仓库AnalyticDB MySQL版湖仓
- 云原生数据仓库AnalyticDB MySQL版实践
- 云原生数据仓库AnalyticDB MySQL版湖仓版
- 云原生数据仓库AnalyticDB MySQL版分析
- 云原生数据仓库AnalyticDB MySQL版场景
- 云原生数据仓库AnalyticDB MySQL版开发
- 云原生数据仓库AnalyticDB MySQL版离线