
数据仓库实战 4(二)
DWD层数据导入脚本创建脚本dwd_db.sh#!/bin/bash # 定义变量方便修改 APP=gmall # 如果是输入的日期按照取输入日期;如果没输入日期取当前时间的前一天 if [ -n "$1" ] ;then do_date=$1 else do_date=`date -d "-1 d...

数据仓库实战 4(一)
业务数仓之前我们搭建的是用户行为数仓,接下来我们来搭建业务数仓。假设我们现在拥有下面8张业务表MariaDB [gmall]> show tables; +-----------------+ | Tables_in_gmall | +-----------------+ | base...

数据仓库实战 3(二)
执行脚本[root@cdh2 25k]# dws_log.sh 2020-11-24 20/11/24 21:43:12 [main]: INFO jdbc.HiveConnection: Connected to cdh2.macro.com:10000 Connected to: Apache ...

数据仓库实战 3(一)
经过前面那么久的折腾,我们终于可以切入主题了,接下来我们用数仓分层的理论,在Hive中建立数据仓库。ODS层启动Hive客户端,创建gmall数据库[root@cdh2 ~]# hive 0: jdbc:hive2://cdh1.macro.com:2181,cdh2.macr> cr...

数据仓库实战 2
我们接着来看数据采集模块Flume采集日志数据到Kafka首先我们需要用Flume采集日志数据到Kafka配置日志采集我们采用的是flume,比较传统成熟的日志采集项目。首先我们从实时生成的日志文件通过flume采集到kafka中。log日志的格式是app-yyyy-mm-dd.logCDH7.1....

数据仓库实战 1
数据仓库(Data Warehouse),是为企业所有决策制定过程,提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业改进业务流程,控制成本,提高产品质量等。数据仓库并不是数据的最终目的地,而是为数据的最终目的地做好准备,这些准备包括对数据的...

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——一、产品概述
1. 产品简介 云原生数据仓库AnalyticDB MySQL版(ADB MySQL)是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。支持高吞吐的数据实时增删改、低延时的实时分析和复杂ETL,兼容上下游生态工具,可用于构建企业级报表系统、数据仓库和数据服务引擎。云原生数...

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——二、产品架构及原理
1. 产品架构 AnalyticDB MySQL版采用云原生架构,计算存储分离、冷热数据分离,支持高吞吐实时写入和数据强一致,兼顾高并发查询和大吞吐批处理的混合负载。其产品架构包括接入层、计算引擎、存储引擎。 • 接入层:协议层接入、SQL解析和优...

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(上)
1. 数据库对象及操作 数据库对象的体系结构可以从用户视角和系统视角查看,用户视角类似使用MySQL一样,可以创建多个数据库,在每个数据库下面创建多个数据表,而在系统视角一个用户实例对应一个集群,而集群对应的是物理的数据库,该数据库为分布式的大规模并行MPP架构,数据库会分片到不...

《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(下)
更多精彩内容,欢迎观看:《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——三、产品相关概念(上):https://developer.aliyun.com/article/1223285?spm=a2c6h.12873581...
更新时间 2023-07-08 12:20:20
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子