数据湖构建

阿里云数据湖构建(Data Lake Formation,DLF)是一款全托管的快速帮助用户构建云上数据湖的服务,产品提供了云上数据湖统一的权限管理、数据湖元数据管理和元数据自动抽取能力。

智能数据构建与管理 Dataphin

Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据构建及管理服务。

数据资源平台

阿里云数据资源平台是构建数据智能的全流程平台,提供数据汇聚、规范设计、指标与标签体系构建、数据质量管控、数据资产管理、数据资产服务与共享、智能分析等核心功能,支持行业知识内容沉淀,帮助金融、政府及企业客户快速构建智能数据中...

云服务器 ECS

云服务ECS(Elastic Compute Service)是一种简单高效、处理能力可弹性伸缩的计算服务。帮助您构建更稳定、安全的应用,提升运维效率,降低IT成本,使您更专注于核心业务创新。

PCDN

P2P 内容分发网络(英文名:P2P CDN,以下简称PCDN)是以P2P技术为基础,通过挖掘利用电信边缘网络海量碎片化闲置资源而构建的低成本高品质内容分发网络服务。客户通过集成PCDN SDK(以下简称SDK)接入该服务后能获得等同(或略高于)CDN的...

常见问题

本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格?入湖模板中CU数如何评估?数据湖构建如何收费?数据湖构建与OSS有什么区别?什么情况下我需要使用数据湖构建?如何申请数据湖构建产品的公测资格?请使用阿里云主...

概述

数据湖构建可以帮助用户快速构建云上数据湖,采用统一的管理视角治理数据湖。在本产品在公测阶段,您需要申请公测资格,审批通过后即可使用本产品。用户使用流程数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的服务,用户使用流程如下...

概述

本教程基于零售店铺销售场景,为您介绍如何构建销售模型,以获取目录销售额和实例销售额,同时对店铺ID的唯一性进行了管理,助您真正能够依赖数据进行经营决策。准备工作 新建MaxCompute项目(dqe_demo_prod_odps),配置如下参数,其余...

快速入门

城市三维场景构建器组件提升了组件的易用性、渲染视效、支持更多精准时空数据、扩大城市基础数据资产库,真正降低“数字孪生城市”的构建门槛,使得“数字孪生城市”成为一项技术普惠。本文为您演示如何在DataV产品内使用城市三维场景构建...

产品简介

阿里云数据湖构建(Data Lake Formation,DLF)是一款全托管的快速帮助用户构建云上数据湖的服务,产品提供了云上数据湖统一的权限管理、数据湖元数据管理和元数据自动抽取能力。统一数据湖存储阿里云数据湖构建使用阿里云对象存储(Object...

服务等级协议

自2021年1月起,数据湖构建(DLF)服务等级协议(SLA)生效。详细内容参考数据湖构建服务等级协议。

定义维度与构建总线矩阵

根据阿里巴巴OneData方法论,明确每个数据域中有哪些业务过程后,您需要开始定义维度,并基于维度构建总线矩阵。定义维度 在划分数据域、构建总线矩阵时,需要结合对业务过程的分析定义维度。本教程中,以A电商公司的营销业务板块为例,在...

数仓构建流程

本文为您介绍如何基于阿里巴巴OneData方法论最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库的流程。数仓构建流程 下图为使用Dataphin构建数据仓库的整体流程。基本概念 在正式学习本教程之前,您需要...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算...

概述

数据同步支持通过界面配置及编写代码的方式构建同步任务,以满足不同业务场景的数据同步:界面配置的方式构建同步任务的流程。新建管理同步任务文件夹,详情请参见新建同步任务文件夹。新建同步任务的目标表,详情请参见新建同步目标表。...

概述

您可以通过数据处理模块构建计算任务。例如,同步数据、创建目标表、构建数据模型及加工逻辑表。版本功能介绍 Dataphin不同版本,支持构建不同类型的计算任务。版本 计算任务类型 智能研发版 SQL、Spark、MapReduce、Shell、Python、...

数仓分层

在汇总数据层同样可以关联复用统计粒度中的维度,采取更多的宽表化手段构建公共指标数据层,提升公共指标的复用性,减少重复加工。维度层(DIM,Dimension):以维度作为建模驱动,基于每个维度的业务含义,通过添加维度属性、关联维度等...

快速入门

数据湖构建(Data Lake Formation,DLF)产品主要使用流程如下。前提条件注册阿里云账号,并完成实名认证。创建数据源创建数据湖的入湖来源,当前支持阿里云RDS MySQL和PolarDB作为数据来源。您需要输入RDS MySQL连接的用户名和密码。选择...

概述

使用场景 场景说明 描述 操作指导 添加MaxCompute计算源至项目 业务场景中需要建模、构建即席查询和MAXC任务或通用任务。新建MaxCompute计算源。添加计算源至项目,详情请参见新建项目或编辑项目。添加AnalyticDB For PostgreSQL计算源至...

场景基础配置项

本文介绍城市三维场景构建器组件场景基础配置项的含义。添加组件并使用官方基底数据方式选择场景范围区域 在组件栏内选择地图>城市三维场景构建器组件。在选择创建方式对话框内选择官方基底数据,并单击创建。在选择子组件对话框中选择...

使用限制

您在使用数据湖构建(Data Lake Formation,简称DLF)控制台和接口时,产品做了如下限制,请在使用时注意不要超过相应的限制值,以免出现异常。数据湖元数据限制项用户配额单表QPS2000单表分区数量100万数据湖入湖预处理作业限制项用户配额...

快速入门

空间构建平台是一个独立的平台,该平台作为城市空间构建模块,可自定义实现空间数据编辑,并将空间数据项目运用在城市三维场景构建器中。本文为您介绍如何快速使用空间构建平台。前提条件 开通DataV服务。说明 空间数据构建平台仅支持DataV...

概述

同时您也可以配置计算和存储资源的规则,优化逻辑表任务、SQL查询任务及设置查询引擎,以提高数据构建效率。使用限制 仅支持超级管理员在管理中心管理成员、设置Dataphin计算引擎、配置智能引擎。功能介绍 管理中心支持管理Dataphin成员、...

步骤四:补数据

本教程为了让您快速熟悉构建偏好标签的流程,采用补数据的方式,构建数据行为规则运行生成的数据。补数据(电商-淘宝-收藏-商品)登录Dataphin控制台。进入行为中心页面。在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>gt;...

概述

数据集成是基于Dataphin构建的简单高效的数据同步平台,致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。如果您是在2020年4月份之后购买的Dataphin,则数据同步能力已升级为数据集成。背景信息 面对各行...

主题式查询

主题式查询是基于Dataphin加工出的逻辑表,运用逻辑SQL对数据进行的AdHoc查询。本文为您介绍如何利用Dataphin...主题式查询 完成主题式查询的构建,详情请参见新建即席查询。icmsDocProps={'productMethod':'created','language':'zh-CN',};

父容器配置项说明

本文介绍城市三维场景构建器组件的父容器各配置项的含义,帮助您快速了解父容器配置页签内的参数用途,合理使用城市三维场景构建器组件。单击画布编辑器或者蓝图编辑器的进入场景编辑器入口,进入场景编辑器后,编辑器右侧展示城市三维场景...

概述

告警中心是基于Dataphin构建的监控告警平台,为您展示数据质量、实时计算、数据服务模块的告警事件和推送记录。背景信息 Dataphin支持的数据采集、数仓建设、数据管理、数据应用的功能越来越丰富,告警场景的多样性和复杂性也随之增加。...

场景编辑概览

场景编辑器通用概念 父容器与场景:一个城市三维场景构建器组件(父容器)具备多个场景,一个场景只能归属于一个城市三维场景构建器组件。城市三维场景构建器组件与场景是一对多的关系。场景与图层:一个图层可以同时属于多个场景,一个...

概述

基于Dataphin生产的数据资产,数据萃取模块能够识别并关联数据资产中的主数据(即贯穿各隔离业务的核心对象),提炼可直接应用的高价值标签数据,从而帮助企业构建自己的萃取数据中心。本教程基于电商销售场景,为您介绍如何构建用户偏好...

步骤三:规范定义

规范定义是指以维度建模作为理论基础,构建总线矩阵,划分并定义数据域、业务过程、维度、原子指标、时间周期和派生指标。本教程中规范定义包括如下内容:数据域 数据域是联系较为紧密的数据主题的集合,是业务对象高度概括的概念归类,...

DataV数字孪生核心技术教程:渲染引擎选型

关于DataV城市三维场景构建器:谈谈研发一个数字孪生渲染引擎的初心 为什么要研发DataV城市三维场景构建器?经过行业主流的引擎技术选型比较,可以发现新兴的数字孪生城市行业其实缺乏一款真正满足行业需求的渲染引擎。在阿里集团城市大脑...

概述

即席查询提供数据查询功能。MaxCompute计算引擎类型下支持MaxCompute SQL。系统会根据您所设置的...说明 虚拟维度的主键字段不能用于即席查询,虚拟维度仅用于构建统计粒度。icmsDocProps={'productMethod':'created','language':'zh-CN',};

步骤四:规范定义

规范定义是指以维度建模作为理论基础,构建总线矩阵,划分并定义数据域、业务过程、维度、原子指标、业务限定、时间周期和派生指标。本文为您介绍在本教程中如何进行规范定义。实例数据说明 本示例以统计办公用品、技术产品两类产品各省份...

基于Delta lake的一站式数据湖构建与分析实战

企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建(DLF)构建一站式的数据入湖与分析实战。背景信息随着数据时代的不断发展,数据量爆发式增长,数据形式也变...

升级

请您仔细核对购买信息并阅读智能数据构建与管理服务协议,确认无误后选中智能数据构建与管理服务协议。单击去支付,支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例,在Dataphin管理控制台页面,显示...

应用场景

智能构建云上数仓,提高战略决策效率 场景:某集团在全国经营多家连锁超市,线上线下零售渠道及形态众多。痛点:因为业务系统多、数据来源多,经营所需的数据需求高频且多样化。但数据体系复杂、数据不统一,数据分析速度和数据准确一致性...

确定需求

在基于Dataphin构建与管理企业数据中台之前,首先需要确定数仓构建的目标与需求,进行全面的业务调研。您需要了解真实的业务需求是什么,以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石,...

续费

请您仔细核对购买信息并阅读智能数据构建与管理服务协议,确认无误后选中《智能数据构建与管理服务协议》。单击去支付,支付成功后即可完成续费。说明 系统仅支持按照已购买的配置进行续费。自动续费 进入阿里云用户中心。在用户中心页面,...

元数据管理

元数据管理是构建数据湖重要一环,通过有效集中式的元数据管理,可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。页面概览创建元数据库登录数据湖管理控制台,选择元数据管理。单击添加元数据库。配置元数据库参数。输入...
< 1 2 3 4 ... 153 >
跳转至: GO
产品推荐
云服务器 物联网无线连接服务 SSL证书 轻量应用服务器 商标 短信服务
这些文档可能帮助您
什么是NAT网关 数仓构建流程 使用公网NAT网关SNAT功能访问公网 明细数据层(DWD) 商标公告期FAQ ICANN域名邮箱验证合规FAQ

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折