离线数仓(七)【DIM 层开发】(3)

离线数仓(七)【DIM 层开发】(3)

离线数仓(七)【DIM 层开发】(2)https://developer.aliyun.com/article/1532405 1.9、日期维度表        前面的四张维度表都是每日全量快照表而且来自于业务系统,但时间维度表的数据并不是来自于业务系统,而是...

离线数仓(七)【DIM 层开发】(2)

离线数仓(七)【DIM 层开发】(2)

离线数仓(七)【DIM 层开发】(1)https://developer.aliyun.com/article/1532403 4.1.2、装载语句        这张表的装载我们不能再用简单的 load 语句了,因为我们现在不再是通过文件映射到表格了。我们得...

AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产

10 课时 |
328 人已学 |
免费

云原生数据仓库AnalyticDB PostgreSQL 产品入门

1 课时 |
685 人已学 |
免费

大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析

4 课时 |
137 人已学 |
免费
开发者课程背景图
离线数仓(七)【DIM 层开发】(1)

离线数仓(七)【DIM 层开发】(1)

前言        今天开始 DIM 层的开发,说开发好像有点不配,还只是学习阶段,离开发还有很长的路要走。 一个人想象自己不懂得的事很容易浪漫。                 ...

离线数仓(六)【ODS 层开发】

离线数仓(六)【ODS 层开发】

前言        今天开始正式的数仓搭建,所谓 ODS 层的工作就是把我们各种数据源采集发送来的各种类型的数据(Json、tsv类型)映射到 Hive 表中,映射时可以进行一些简单的处理,比如简单的数据清洗,舍弃一些没有必要的字段。 1、ODS 层开发 OD...

离线数仓(五)【数据仓库建模】(4)

离线数仓(五)【数据仓库建模】(3)https://developer.aliyun.com/article/1532392 我们把上面所有的派生指标拿出来分析: ...

离线数仓(五)【数据仓库建模】(3)

离线数仓(五)【数据仓库建模】(3)

离线数仓(五)【数据仓库建模】(2)https://developer.aliyun.com/article/1532390 5.2.4 明确统计指标        明确统计指标具体的工作是,深入分析需求(深入了解每个业务过程每个指标的运算逻辑),构建指标体系...

离线数仓(五)【数据仓库建模】(2)

离线数仓(五)【数据仓库建模】(2)

离线数仓(五)【数据仓库建模】(1)https://developer.aliyun.com/article/1532389 第5章 数据仓库设计 5.1 数据仓库分层规划        优秀可靠的数仓体系,需要良好的数据分层结构。合理的分层,能够使数据体系更...

离线数仓(五)【数据仓库建模】(1)

离线数仓(五)【数据仓库建模】(1)

前言        今天开始正式数据仓库的内容了, 前面我们把生产数据 , 数据上传到 HDFS , Kafka 的通道都已经搭建完毕了, 数据也就正式进入数据仓库了, 解下来的数仓建模是重中之重 , 是将来吃饭的家伙 ! 以及 Hive SQL 必须熟练到像...

离线数仓(四)【数仓数据同步策略】(4)

离线数仓(四)【数仓数据同步策略】(4)

离线数仓(四)【数仓数据同步策略】(3)https://developer.aliyun.com/article/1532384 sink 配置: 这里除了设置输出的 hdfs 路径必须包含日期之外,主要就是滚动策略的配置,我们要防止小文件的问题。 编写拦截器: ...

离线数仓(四)【数仓数据同步策略】(3)

离线数仓(四)【数仓数据同步策略】(3)

离线数仓(四)【数仓数据同步策略】(2)https://developer.aliyun.com/article/1532382 查看 hdfs 端: ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

云原生数据仓库AnalyticDB
云原生数据仓库AnalyticDB
定期发送云原生数据仓库AnalyticDB产品重大发布和技术干货
1134+人已加入
加入
相关电子书
更多
PolarDB+AnalyticDB助力交通物流行业系统升级
2023云栖大会:AnalyticDB MySQL新特性介绍
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
立即下载 立即下载 立即下载