云原生大数据计算服务 MaxCompute数据仓库的相关内容

文章 2017-06-26 来自：开发者社区

MaxCompute大数据实践，电商数据仓库选择雪花还是星型模型？

作者：王永伟规范化和反规范化当属性层次被实例化为一系列维度，而不是单一的维度时，此模式被称为雪花模式。大多数联机事务处理系统（OLTP）的底层数据结构在设计时采用此种规范化技术，通过规范化处理将重复属性移至其自身所属的表中，删除冗余数据。此种方法用在OLTP系统中可以有效避免数据冗余导致的不一致性。比如在OLTP系统中，存在商品表和类目表，且商品表中冗余有类目表的属性字段，假设对某类....

文章 2017-06-26 来自：开发者社区

MaxCompute大数据实践，电商数据仓库的星型模型和传统星型的区别

作者：王永伟在Kimball所著的《数据仓库工具箱》一书中，对于维度模型设计采用的4步设计方法：1.选择业务过程 2.声明粒度 3.确定维度 4.确定事实。在当前的互联网大数据环境下，面对复杂的业务场景，为了更有效准确地进行维度模型建设，基于Kimball的4步维度建模方法，我们进行了更进一步的改进。第一步：选择业务过程及确定事实表类型在明确了业务需求以后，接下来需要进行详细的需求.....

问答 2017-06-11 来自：开发者社区

新兴大数据生态环境能否完全替代原数据仓库生态

现在到处在喊大数据，Hadoop，Spark等等，那么基于这些大数据组件构建的数据存储，能否完全替代原来IBM DB2，Oracle 数据仓库、Teradata等优势厂家许多年形成的数据仓库生态呢？

文章 2017-06-04 来自：开发者社区

最近在处理一个商业银行的大数据项目，旨在构建大数据资源池，项目边界确认过程中，针对项目的定位出现了两种不同的观点，对大数据的在传统行业的应用有了新的启发。观点一、大数据作为操作数据历史库，存储操作数据库数据，提供历史数据长周期，快速检索的历史数据存储和快速查询服务。观点二、大数据作为数据仓库的的历史库，解决数据仓库历史数据存储的问题，构建一个大容量，高可用的数据存储平台，为全量数据分析和知....

文章 2017-05-02 来自：开发者社区

从数据仓库到大数据，数据平台这25年是怎样进化的？

“ 从「数据仓库」一词到现在的「大数据」，中间经历了太多的知识、架构模式的演进与变革。数据平台这25年究竟是怎样进化的？我是从2000年开始接触数据仓库，大约08年开始进入互联网行业。很多从传统企业数据平台转到互联网同学是否有感觉：非互联网企业、互联网企业的数据平台所面向用户群体是不同的。那么，这两类的数据平台的建设、使用用户又有变化？数据模型设计又有什么不同呢？我们先从两张图来看...

文章 2016-04-19 来自：开发者社区

胖子哥的大数据之路（8）- 数据仓库命名规范

引言：　　从对大数据的狂热到理性的回归，项目实施起到了醍醐灌顶的作用，大数据技术只能作为一种IT基础架构（存储+运算），而实际的工程化实施，还是要回归到IT传统技术，最近在整合大数据时代的数据仓库框架，希望能有更多的人参与进来。数据仓库实施数据模型的组织，需要引入更多的规则，下面要谈的就是数据仓库数据内容的组织方式。来自TD，可以借鉴到大数据时代的数据仓库建设。一：基础模型层 &n...

文章 2016-04-19 来自：开发者社区

胖子哥的大数据之路（9）-数据仓库金融行业数据逻辑模型FS-LDM

引言：　　大数据不是海市蜃楼，万丈高楼平地起只是意淫，大数据发展还要从点滴做起，基于大数据构建国家级、行业级数据中心的项目会越来越多，大数据只是技术，而非解决方案，同样面临数据组织模式，数据逻辑模式的问题。它山之石可以攻玉，本文就数据仓库领域数据逻辑模型建设最负盛名的FS-LDM进行介绍，旨在抛砖引玉，希望能够给大家以启迪。参与交流请加群：347018601 一、概述（1）什么是LDM 　　....

文章 2016-04-19 来自：开发者社区

胖子哥的大数据之路（10）- 基于Hive构建数据仓库实例

一、引言　　基于Hive+Hadoop模式构建数据仓库，是大数据时代的一个不错的选择，本文以郑商所每日交易行情数据为案例，探讨数据Hive数据导入的操作实例。二、源数据-每日行情数据三、建表脚本 CREATE TABLE IF NOT EXISTS t_day_detail( id STRING, lastday FLOAT, today FLOAT, highest F...

文章 2016-04-19 来自：开发者社区

胖子哥的大数据之路（一）-数据仓库也需要大数据

一、楔子　　大数据传统企业实施，其路漫漫，绝不会如昙花一现，探索大数据在传统行业的实施之路，寻找一条适合传统行业的企业大数据实施方法体系，是我执着坚守的信念，大数据是一种信仰，吾将上下而求索。记下项目中的点滴，算是日志，自勉。二、项目背景　　最近在处理一个商业银行的大数据项目，旨在构建大数据资源池，项目边界确认过程中，针对项目的定位出现了两种不同的观点，对大数据的在传统行业的应用有了新的启....

文章 2016-04-19 来自：开发者社区

胖子哥的大数据之路（三）- 数据仓库的需求分析该怎么做

一、引言　　基于大数据技术构建数据仓库平台，源于大数据技术本身的不成熟和普及度问题，以及辅助工具的缺失，注定了其实施过程与传统数据仓库的差异性，和更大的实施难度。本文针对大数据技术应用与数据仓库类项目需求分析阶段，需要完成的主要工作基于用户需求分析说明书的文档结构进行目录式展现。如需了解更深层的细节，可以做专项技术交流和咨询服务。一、项目范围的界定　　没有明确项目边界的项目是一个不可控的项....