【数据飞轮】驱动业务增长的高效引擎 —从数据仓库到数据中台的技术进化与实战
在当今数据驱动的时代，企业从简单的数据仓库逐步过渡到数据中台，再演变为数据飞轮的理念。每一个阶段都代表了数据管理与应用的显著技术变革。从最初的数据存储到现在以自动化方式持续驱动业务增长，数据技术的演进不仅提高了企业的决策能力，也大幅优化了运营效率。 本文将探讨从数据仓库到数据中台，再到数据飞轮的技术进化路径，结合代码示例展示如何在实际业务中运用数据技术来实现数据的最大价值。 1. 数据仓库：基.....
数据仓库实战 4（二）
DWD层数据导入脚本创建脚本dwd_db.sh#!/bin/bash # 定义变量方便修改 APP=gmall # 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天 if [ -n "$1" ] ;then do_date=$1 else do_date=`date -d "-1 day" +%F` fi sql=" set hive.exec.dynam...
数据仓库实战 4（一）
业务数仓之前我们搭建的是用户行为数仓，接下来我们来搭建业务数仓。假设我们现在拥有下面8张业务表MariaDB [gmall]> show tables; +-----------------+ | Tables_in_gmall | +-----------------+ | base_category1 | | base_category2 | | base_category...
数据仓库实战 3（二）
执行脚本[root@cdh2 25k]# dws_log.sh 2020-11-24 20/11/24 21:43:12 [main]: INFO jdbc.HiveConnection: Connected to cdh2.macro.com:10000 Connected to: Apache Hive (version 3.1.3000.7.1.3.0-100) Driver: Hive ....
数据仓库实战 3（一）
经过前面那么久的折腾，我们终于可以切入主题了，接下来我们用数仓分层的理论，在Hive中建立数据仓库。ODS层启动Hive客户端，创建gmall数据库[root@cdh2 ~]# hive 0: jdbc:hive2://cdh1.macro.com:2181,cdh2.macr> create database gmall; 0: jdbc:hive2://cdh1.macro.c....
数据仓库实战 2
我们接着来看数据采集模块Flume采集日志数据到Kafka首先我们需要用Flume采集日志数据到Kafka配置日志采集我们采用的是flume，比较传统成熟的日志采集项目。首先我们从实时生成的日志文件通过flume采集到kafka中。log日志的格式是app-yyyy-mm-dd.logCDH7.1.1中移除了flume组件，代替的是Nifi。我们直接将flume下载到节点中，具体的配置如下。在/....
数据仓库实战 1
数据仓库（Data Warehouse），是为企业所有决策制定过程，提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程，控制成本，提高产品质量等。数据仓库并不是数据的最终目的地，而是为数据的最终目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。本次实战需求：1、数据采集平台搭建2、实现用户行为数据仓库的分层搭建3、实现业务数据仓库....
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践（上）——一、产品概述
1. 产品简介 云原生数据仓库AnalyticDB MySQL版（ADB MySQL）是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。支持高吞吐的数据实时增删改、低延时的实时分析和复杂ETL，兼容上下游生态工具，可用于构建企业级报表系统、数据仓库和数据服务引擎。云原生数据库也包括PolarDB。 云原生可以从两个方面进行介绍：云和原生。随着云计算的发展，应用上云已是....
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践（上）——二、产品架构及原理
1. 产品架构 AnalyticDB MySQL版采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。其产品架构包括接入层、计算引擎、存储引擎。 • 接入层：协议层接入、SQL解析和优化、数据和查询调度。• 计算引擎：ü 支持高并发和复杂SQL混合负载，采用DAG和MPP支持不同负载。ü 弹性调度，可....
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践（上）——三、产品相关概念（上）
1. 数据库对象及操作 数据库对象的体系结构可以从用户视角和系统视角查看，用户视角类似使用MySQL一样，可以创建多个数据库，在每个数据库下面创建多个数据表，而在系统视角一个用户实例对应一个集群，而集群对应的是物理的数据库，该数据库为分布式的大规模并行MPP架构，数据库会分片到不同的节点上，而每个分片对应着物理表，通过Partition实现分区，分片是一级分区，分区是二级分区。&...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
实时数仓 Hologres
本技术圈将为大家分析有关阿里云产品Hologres的最新产品动态、技术解读等，也欢迎大家加入钉钉群--实时数仓Hologres交流群32314975
+关注