湖仓一体 大数据平台新一代架构

阿里云MaxCompute“湖仓一体”方案,打通数据仓库和数据湖两套体系,让数据和计算在湖与仓之间自由流动,从而构建一个完整的有机的大数据技术生态体系。

MaxCompute 表中的数个字段存的是json值(mongodb的数据,json多层嵌套), 使用哪几种方式可以把这些数据抽取出来? 自己写udf还是自己写sdk去实现? 有例子么?

MaxCompute 表中的数个字段存的是json值(mongodb的 数据,json多 嵌套),使用 几种方式可以把这些 数据抽取出来? 自己写udf还是自己写sdk去实现? 例子么?![image](https://yqfile.alicdn.com/c9bce026d1cc7190e7566baa9b9ba10e6b0a0741.png) ...
来自: 开发者社区 > 问答 作者: 祁同伟 浏览:171 回复:1

面试别人问数据仓库ods dw dm层的作用 为啥数据仓库要分这几层

面试别人问 数据 仓库ods  dw  dm 的作用  为啥 数据 仓库要分这几 ...
来自: 开发者社区 > 论坛 作者: Monki小队长 浏览:559 回复:3

哪位大侠有Ralph Kimball 的数据仓库著作的电子文档?

位大侠 Ralph Kimball 的 数据 仓库著作的电子文档? 数据, 仓库, 电子, 文档 云栖社区小编整理 位大侠 Ralph Kimball 的 数据 仓库著作的电子文档? ...
来自: 开发者社区 > 论坛 作者: 瓷勺企鹅 浏览:150 回复:0
推荐

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!
广告

数据仓库中的分层思想你在实际是如何使用的:比如ODS层、DW层、DM层你们那边是如何实现

数据库中分不同用户,此意义不大;假设所有 用户都在一个数据库里,如果因为某个原因数据库重启,那么会影响所有的应用,这违背了 SOA 设计理念中低耦合的思路,当然建在不同的库也是不好的,比如我们要 下钻操作,需要从DW 下钻到ODS ,多个库不方便查询和关联; 数据, 仓库, 分层, 如何, 实现 ...
来自: 开发者社区 > 论坛 作者: shanshan1114 浏览:1238 回复:1

梳理Linux下OSI七层网络与TCP/IP五层网络架构

null作为一个合格的运维人员,一定要熟悉掌握OSI七 网络和TCP/IP 网络结构知识。废话不多说!下面就逐一展开对这两个网络 架构知识的说明 ...
来自: 开发者社区 > 博客 作者: 吞吞吐吐的 浏览:8 回复:0

Linux下套接字详解(补充)--OSI七层与TCP/IP五层网络架构详解

IP,ICMP,RIP,OSPF,BGP,IGMP数据链路 保证误差错的数据链路,传输 地址的帧以及错误检测功能交换机、网桥、网卡SLIP,CSLIP,PPP,ARP,RARP,MTU物理 传输比特流,以二进制 数据形式在物理媒体上传输 数据集线器 ...
来自: 开发者社区 > 博客 作者: shy丶gril 浏览:1380 回复:0

梳理Linux下OSI七层网络与TCP/IP五层网络架构

管理网络中端到端的信息传送;通过错误纠正和流控制机制提供可靠且有序的数据包传送;提供面向无连&接的 数据包的传送;第4 数据单元也称作数据包(packets)。但是,当你谈论TCP等具体的协议时又 特殊的叫法,TCP的 数据单元称为段 ...
来自: 开发者社区 > 博客 作者: 技术小阿哥 浏览:21 回复:0

数据和应用程序的访问层指的是大数据技术堆栈的哪一层_关于大数据应用的问题

数据和应用程序的访问 指的是大 数据技术堆栈的 _关于大 数据应用的问题 ...
来自: 开发者社区 > 问答 作者: 知与谁同 浏览:6 回复:1

【转载】架构师谈五层网站架构

。我们可以依次用这 对网站 架构进行讨论,为了增强说服力,我将用如下三个并发较大的生产环境来说明。电子商务网站(并发最大峰值2900,日PV500万左右)电子广告网站(并发最大峰值1500,日PV150万左右)大型CDN门户 ...
来自: 开发者社区 > 博客 作者: 橘子红了呐 浏览:20 回复:0

追风马平台的MMC移动营销闭环系统五层模型的数据分析层可以解决企业的哪些问题?_和移动数据分析相关的问题

追风马平台的MMC移动营销闭环系统 模型的 数据分析 可以解决企业的哪些问题?_和移动 数据分析相关的问题 ...
来自: 开发者社区 > 问答 作者: 知与谁同 浏览:6 回复:1

蓝芽无线通信bluetooth属于物联网产业架构链中的哪一层_和物联网无线连接服务相关的问题

蓝芽无线通信bluetooth属于物联网产业 架构链中的 _和物联网无线连接服务相关的问题 ...
来自: 开发者社区 > 问答 作者: 知与谁同 浏览:8 回复:1

架构设计师—你在哪层楼?

,以及方案各个组成部分是否无缝整合。这就要求 架构师能眼光更开阔一些,可以预见性的考虑整合中可能的风险和问题,并提前准备。第三 架构师看到的是商业价值。IT项目的背后都 Sponsor,那么Sponsor真正关心的问题是 ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:5 回复:0

支付宝的架构是怎样的?分了哪几层?

支付宝前端app到后端服务的 架构具体是怎样的? ? ...
来自: 开发者社区 > 问答 作者: 熊在此处 浏览:201 回复:1

细说五层网站架构

,这是一项吃力不讨好的工作,未必能达到预期的目标,系统 架构师应该在架设网站初期就规划好,不要等到网站流量及压力巨大时才去规划。事实上,这一 很多优秀的开源软件都能胜任,比如传统的SquidCache。另外,越来越多的朋友喜欢尝试在自己的网站是用 ...
来自: 开发者社区 > 博客 作者: 技术小阿哥 浏览:16 回复:0

走向.NET架构设计—第五章—业务层模式,原则,实践(后篇)

null走向.NET 架构设计—第 章—业务 模式,原则,实践(后篇)  前言:在上一篇文章中,讲述了一些设计模式的使用,本篇首先接着介绍还没有讲完的一些设计模式,然后再讲述一些 架构模式中的超类模式,作为本篇的结尾。& ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:7 回复:0

走向.NET架构设计—第五章—业务层模式,原则,实践(中篇)

null走向.NET 架构设计—第 章—业务 模式,原则,实践(中篇)  前言:设计模式并不是什么很高深的东西,至少不是那么“神乎其神”。说到底,设计模式就是一些设计思想。下面我们就走进项目,看看这些项目 ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:9 回复:0

有啥不一样?从三层交换看iMatrix 的三层交换架构优越性

控制器端的链接方式上,浪潮采用了光纤和光纤交换机进行高速连接,从硬件形式上比较中规中矩,业界 约70%的企业采用了光纤连接方式。然而,浪潮基于传统存储网络硬件,通过软件重新定义了前端交换,iMatrix对主机端的IO路径驱动 、缓存 数据保护 ,以及 ...
来自: 开发者社区 > 博客 作者: boxti 浏览:120 回复:0

Oracle数据库架构中包括几层?每层都有什么元素?

   Oracle数据库包括一个逻辑 和物理 ,   物理 包括Oracle磁盘上的文件;   逻辑 用来映射 数据和物理 的文件。逻辑 包括以下元素:  ...
来自: 开发者社区 > 博客 作者: $雪地伤孤$ 浏览:241 回复:0

细说五层网站架构

null目前网站 架构一般分为网页缓存 、负载均衡 、Web 和数据库 、文件服务器 。我们可以依次用这 对网站 架构进行讨论,为了增强说服力,我将用如下三个并发较大的生产环境来说明。q&&&电子商务网站(并发最大峰值2900 ...
来自: 开发者社区 > 博客 作者: 技术小胖子 浏览:9 回复:0

《NX-OS与Cisco Nexus交换技术:下一代数据中心架构(第2版)》一第 2 章 二层支持能力及配置2.1 二层概述

McPherson,更多章节内容可以访问云栖社区“异步社区”公众号查看##第 2 章 二 支持能力及配置NX-OS与Cisco Nexus交换技术:下一代 数据中心 架构(第2版)Nexus系列交换机提供了丰富的二 功能 ...
来自: 开发者社区 > 博客 作者: 异步社区 浏览:261 回复:0

走向.NET架构设计—第五章—业务层模式,原则,实践(后篇)

null走向.NET 架构设计—第 章—业务 模式,原则,实践(后篇)  前言:在上一篇文章中,讲述了一些设计模式的使用,本篇首先接着介绍还没有讲完的一些设计模式,然后再讲述一些 架构模式中的超类模式,作为本篇的结尾。& ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:7 回复:0

云数据仓库MaxCompute最佳实践之数据上云 | 2019大数据技术公开课第五季

秋日杲杲,大 数据技术公开课第 季开播!本季主题 “云 数据 仓库 MaxCompute 最佳实践之 数据上云”。10.22日-11.12日,每周二 19:00,一起学习大 数据。2019年9月17日,TPC官宣Alibaba Cloud ...
来自: 开发者社区 > 博客 作者: 晋恒 浏览:264 回复:0

在数据仓库建模时,应该使用哪种数据类型的度量值

数据 仓库建模中,很重要的模型就是星型模型,在星型模型中我们将表分为维度表和事实表,事实表中存放的可以进行计算(汇总,平均等)的列就是度量值。要进行计算的度量值,可以选择的 数据类型也 好多种,那么我们应该选择 一种呢?首先定个大的方向,是整数还是小数 ...
来自: 开发者社区 > 博客 作者: devinzeng 浏览:870 回复:0

在数据仓库建模时,应该使用哪种数据类型的度量值

null在 数据 仓库建模中,很重要的模型就是星型模型,在星型模型中我们将表分为维度表和事实表,事实表中存放的可以进行计算(汇总,平均等)的列就是度量值。要进行计算的度量值,可以选择的 数据类型也 好多种,那么我们应该选择 一种呢?首先定个大的方向,是整数 ...
来自: 开发者社区 > 博客 作者: 浣熊干面包 浏览:9 回复:0

英特网应用层有哪两种服务模式?有什么区别和优缺点_和应用服务相关的问题

英特网应用 两种服务模式? 什么区别和优缺点_和应用服务相关的问题 ...
来自: 开发者社区 > 问答 作者: 知与谁同 浏览:6 回复:1

大数据架构和模式(三)理解大数据解决方案的架构层

问题导读 1.大 数据解决方案通常哪些逻辑 组成? 2.本文讲了大 数据来源 哪些? 3.大 数据治理包含哪些因素? 1.png (48.03 KB, 下载次数: 3) 下载附件  保存到相册 2015-2-11 22:04 上传 ...
来自: 开发者社区 > 论坛 作者: DeepV 浏览:229 回复:0

《数据虚拟化:商务智能系统的数据架构与管理》一 第2章 商务智能和数据仓库 2.1 引言

本节书摘来自华章出版社《 数据虚拟化:商务智能系统的 数据 架构与管理》一 书中的第2章,第2.1节,作者:[荷]里克 F. 范德兰斯(Rick F. van der Lans),更多章节内容可以访问云栖社区“华章计算机”公众号查看 ...
来自: 开发者社区 > 博客 作者: 华章计算机 浏览:92 回复:0

哪位有SAP WM(仓库管理)的资料

SAP Warehouse( 仓库管理)方面的资料 有的兄弟请发给我一份 email:ccdsony@hotmail.com 不胜感激。。 仓库, 资料, 兄弟 ...
来自: 开发者社区 > 论坛 作者: lina0200 浏览:188 回复:9

构建云上企业数据库架构分为哪五步?

分离完成异地多活 架构、数据库容器化和混合云 架构后,我们仍然与应用不一样,应用容器化后可以快速调度,但数据库还不行,为什么?因为应用是无状态的,而数据库是 状态的,数据库下面拖 数据,如果 持久化 数据,就没办法与应用一样做到弹性能力,因此,我们只 进行计算 ...
来自: 开发者社区 > 博客 作者: 云迹九州 浏览:37 回复:0

哪位大佬知道web服务部署在阿里云上怎么做会话保持,前面有一层SLB,service怎么暴露端口。。。

位大佬知道web服务部署在阿里云上怎么做会话保持,前面 SLB,service怎么暴露端口。。。apiVersion: v1kind: Servicemetadata: name: dz-admin-web ...
来自: 开发者社区 > 问答 作者: k8s小能手 浏览:14 回复:1

构建企业级数据仓库五步法

可以再 其关联子表,从而表达了清晰的维度层次关系。从OLAP系统的分析需求和ETL的处理效率两方面来考虑:星型结构聚合快,分析效率高;而雪花型结构明确,便于与OLTP系统交互。因此,在实际项目中,我们将综合运用星型 架构与雪花型 架构来设计 数据 仓库。那么 ...
来自: 开发者社区 > 博客 作者: @dailidong@ 浏览:42 回复:0

动态数据仓库发展演变的五个阶段

渐入佳境 动态 数据 仓库发展演变的 个阶段 NCR Teradata 事业部 首席技术执行官Stephen Brobst 战略技术及系统公司首席顾问Joe Rarey 01-6-6 上午 10:45:03 最成功的 数据 仓库都是以循序渐进的方式逐步发展起来的 ...
来自: 开发者社区 > 论坛 作者: 物流邦 浏览:225 回复:0

CYQ.Data 轻量数据访问层(五) 构造数据行

数据结构单元DataCell之后, 数据单元行也就很容易写了,因为,所有的 数据单元加起来,就成了 数据行了于是,我们很轻易的写出了以下类:///&<summary>&&&& ...
来自: 开发者社区 > 博客 作者: 路过秋天 浏览:345 回复:0

CYQ.Data 轻量数据访问层(五) 构造数据行

数据结构单元DataCell之后, 数据单元行也就很容易写了,因为,所有的 数据单元加起来,就成了 数据行了于是,我们很轻易的写出了以下类:///&<summary>&&&& ...
来自: 开发者社区 > 博客 作者: 寒凝雪 浏览:123 回复:0

alibaba(杭州)招聘数据仓库海量数据架构师

海量 数据 架构师(需求部门: 数据平台   数量:  工作地:杭州) 职位描述: 1、搭建阿里巴巴B2B 数据基础平台,对产品开发提供 架构支持 2、协助部门制定产品计划,持续改善产品; 职位要求: 1、 扎实的计算机理论 ...
来自: 开发者社区 > 论坛 作者: 最爱阿根达斯 浏览:155 回复:9

系统架构师-基础到企业应用架构-数据访问层

项目中一定会用到的部分,我们知道 数据访问 通常我们都把这块的内容提升出来,写成通用的类库,在我们前面讲解的分层 架构的系统中,基本上可以说业务对象中的 数据都要通过 数据访问 将业务 数据持久化到存储介质中。其实目前 很多的好的ORM框架已经很好的实现了 数据 ...
来自: 开发者社区 > 博客 作者: 嗯哼9925 浏览:6 回复:0

应用层的服务有哪一些?常用端口呢??_和应用服务相关的问题

应用 的服务 一些?常用端口呢??_和应用服务相关的问题 ...
来自: 开发者社区 > 问答 作者: 知与谁同 浏览:5 回复:4

高德-数据仓库与数据处理高级工程师/架构师

至少3年以上,熟悉大型 数据 仓库 架构、熟悉 数据建模、精通ETL开发和SQL编程,具备海量 数据加工处理相关经验; 2. 海量 数据处理相关经验,熟悉hadoop等分布式计算平台应用开发,熟悉java/python/shell编程者优先; 3、 一定的商业分析经验 ...
来自: 开发者社区 > 论坛 作者: 51干警网 浏览:932 回复:0

新型数据准备工具来袭 你还在使用传统数据仓库架构吗?

越来越多的业务分析师正在提升自身编写临时查询和分析算法的能力。这些临时查询和分析算法用来寻找企业 数据存储中的有用信息,为企业做业务决策时提供更多 数据。随着企业员工越来越精通于使用分析工具,他们当中越来越多的人发现,传统的 数据 仓库 架构阻碍了他们分析某些 ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:91 回复:0

信息系统项目管理01——信息化和信息系统

第一章 信息化和信息系统 考选择,非常重要 @[toc] 1.1 信息系统与信息化 1 信息的质量属性(第3页) (1)精确性,对事物状态描述的准确性(2)完整性,对事物状态描述的全面程度,完整信息包括所有重要事实(3)可靠性,信息的来源、采集方法、传输过程是可以信任的,符合预期(4)及时性,获...

调度、模型、同步与任务——阿里云大数据数仓建设性能优化方案

摘要:对于阿里云大数据数仓建设性能优化而言,主要可以从调度优化、模型优化、同步优化以及任务优化这四个方面着手。其实,对于性能优化而言,最终还是会归结到“资源”之上,所以资源是否足够,分配是否合理也是我们在进行性能优化时必须考虑的关键所在。以下内容根据演讲视频以及PPT整理而成。 本次演讲视频分享,...

中小企业在工业互联网浪潮中的困境与机遇

从制造企业遇到的困难,谈到企业数字化如何演进,从工业互联网平台的概述,进而说到如何打造自己的平台,着重介绍了积梦工业互联网平台架构,最后分享了积梦助力余姚振大塑胶集团进行数字化转型的案例。 想看精彩直播回放,请点击这里。 以下是精彩视频内容整理:制造企业遇到的困难我们都知道,中国很多的企业大都在微...

干货分享:蚂蚁金服前端框架和工程化实践

在InfoQ 2019年举办的 GMTC 全球大前端技术大会上,蚂蚁金服高级技术专家陈成发表了《蚂蚁金服前端框架和工程化实践》的演讲,以下是本次演讲摘要。 框架发展历史 这是我们的框架发展时间线。• 2015 年之前我们有 Sea.JS、Arale、SPM 开源技术方案,大家可以有所耳闻。• ...

Linux集群和自动化运维

Linux/Unix技术丛书 Linux集群和自动化运维 余洪春 著 图书在版编目(CIP)数据 Linux集群和自动化运维/余洪春著. —北京:机械工业出版社,2016.8 (Linux/Unix技术丛书) ISBN 978-7-111-54438-8 I. L… II.余… II...
< 1 2 3 4 ... 7145 >
共有7145页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

2021阿里云采购季 采购季云服务器会场 采购季数据库会场 采购季存储会场 采购季云网络会场 采购季云通信会场 采购季中小企业应用会场 采购季大数据会场 采购季人工智能会场 CDN与视频云分会场 采购季物联网分会场 采购季安全分会场

湖仓一体 大数据平台新一代架构

阿里云MaxCompute“湖仓一体”方案,打通数据仓库和数据湖两套体系,让数据和计算在湖与仓之间自由流动,从而构建一个完整的有机的大数据技术生态体系。