安全白皮书概述

Dataphin面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力,包括产品、技术和方法论等,可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...

离线数仓构建流程概述

使用Dataphin进行离线数仓建设的基本流程如下:主流程 描述 操作指导 准备工作 使用Dataphin进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置...

离线数仓构建流程概述

使用Dataphin进行离线数仓建设的基本流程如下:主流程 描述 操作指导 准备工作 使用Dataphin进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置...

答疑支持

若您在使用智能数据建设与治理Dataphin的过程中有任何疑问,您可通过答疑支持联系我们,为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统(如需对接可联系运维部署团队)方可使用工单功能。...

快速入门

如果您是首次使用智能数据建设与治理Dataphin,您可以参考快速入门文档,了解如何购买实例并接入服务端。Dataphin共享模式(全托管版)Dataphin共享模式(全托管)快速入门 Dataphin独享模式(半托管版)Dataphin独享模式(半托管)快速...

维度层(DIM)

维度层简介 建立一致数据分析维表,可以降低数据计算口径和算法不统一风险。以维度作为建模驱动,基于每个维度的业务含义,通过定义维度及维度主键,添加维度属性、关联维度等定义计算逻辑和雪花模型,完成属性定义的过程并建立一致的数据...

数仓分层

维度层(DIM,Dimension):以维度作为建模驱动,基于每个维度的业务含义,通过添加维度属性、关联维度等定义计算逻辑,完成属性定义的过程并建立一致的数据分析维表。为了避免在维度模型中冗余关联维度的属性,基于雪花模型构建维度表。在...

应用场景

价值:数据建设统一:数据标准规范定义。数据研发提效:自动化代码生成。战略决策高效:数据分析准确,数据需求响应及时。推荐搭配组合:Dataphin+MaxCompute MaxCompute详情请参见 什么是MaxCompute。输出主题式数据服务,提高数据化运营...

统计类标签典型案例

行为关系 本场景中 会员下单商品 行为关系,描述的是行为主体 会员 通过 下单行为 与行为对象 商品 建立的关系。具体包含的属性如下(部分示例):参数 实体-实体ID 属性 行为主体 会员-会员ID 会员姓名、手机号。行为-下单时间(行为时间...

数仓规划概述

数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前,需要完成数据仓库的规划,包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...

变更管控

变更管控功能是指在变更环节(如提交、发布、运维操作等),通过配置...规则配置完成后,支持配置规则及策略生效灵活开关,以调整管控规则及策略配置,实现不同的管控效果,从而减少人工干预成本,也能进一步提升平台建设的规范性和稳定性。

变更管控

变更管控功能是指在变更环节(如提交、发布、运维操作等),通过配置...规则配置完成后,支持配置规则及策略生效灵活开关,以调整管控规则及策略配置,实现不同的管控效果,从而减少人工干预成本,也能进一步提升平台建设的规范性和稳定性。

产品更新动态-独享模式(半托管)

数据建设:数据建设支持离线代码研发、实时代码研发、智能建模研发、流批一体研发等多种研发方式,其中首创的智能建模研发模式通过设计即开发的数据模型设计+自动化代码开发提供高效的数据研发生产力。资产治理:资产管理通过数据标准、...

偏好类标签典型案例

行为关系 本场景中 会员下单商品 行为关系,描述的是行为主体 会员 通过 下单行为 与行为对象 商品 建立的关系。具体包含的属性如下(部分示例):参数 实体-实体ID 属性 行为主体 会员-会员ID 会员姓名、手机号。行为-下单时间(行为时间...

数仓规划概述

数仓规划是基于Dataphin建设数据中台的第一步,同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前,需要完成数据仓库的规划,包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...

实时集成数据至DataHub

目标Topic建立方式 支持 新建 Topic 和 使用已有Topic 建立方式。新建 Topic:通过手动填写目标Topic方式进行建立。使用已有Topic:使用目标库已有Topic,需确保该Topic的schema与同步消息的格式保持一致,否则会导致同步任务失败。目标...

确定需求

业务调研 充分的业务调研和需求分析是数据仓库建设的基石,直接决定数据仓库能否建设成功。在数仓建设项目启动前,您需要请相关的业务人员介绍具体的业务,以便明确各个团队的分析员、运营人员的需求,沉淀出相关文档。您可以通过调查表、...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

升级

请您仔细核对购买信息并阅读 智能数据建设与治理服务协议,确认无误后选中 智能数据建设与治理服务协议。单击 去支付,支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例,在Dataphin管理控制台页面,显示 ...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

数仓构建流程

本文为您介绍如何基于阿里巴巴OneData方法论最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前,您需要了解...

逻辑结构说明

当数据的业务含义存在较大差异时,您可以创建不同的数据板块,让各成员独立管理不同的业务,后续数据仓库的建设将按照数据板块进行划分。主题域 数据域即主题域,是对某个主题分析后确定的主题边界。例如,商品域、交易域、会员域等。项目 ...

设置Dataphin实例的计算引擎

校验成功后,单击 确认并开始数据建设,即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后,您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作,请参见 准备数据源和计算源。

概念建模概述

背景信息 在建设数据中台的流程中,一般的首要任务是对整个业务进行前置调研,如先盘点出参与业务的人员、事物和基本规则定义,并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后,产出业务的概念模型。...

使用限制

计算引擎类型 选择设置 计算引擎设置需要提前采购计算引擎MaxCompute资源,系统以此来支持相关数据的建设工作。需要选择计算引擎类型(目前仅开放MaxCompute计算类型),配置计算引擎所在的集群,例如Endpoint等信息。系统以此来支持该计算...

概念建模概述

背景信息 在建设数据中台的流程中,一般的首要任务是对整个业务进行前置调研,如先盘点出参与业务的人员、事物和基本规则定义,并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后,产出业务的概念模型。...

引入预制模型

模型市场为您提供开箱即可试用的模型示例,降低您的学习成本以及理解Dataphin的成本,帮助您快速建立企业模型。本文为您介绍如何导入模型示例。视频介绍 权限说明 仅支持超级管理员、系统管理员导入模型。计算引擎说明 仅当计算设置中的...

资产质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...

资产质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...

Dataphin免费试用申请

申请信息填写完后,勾选 我已阅读并同意《Dataphin智能数据建设与治理试用服务协议》,单击 免费试用,体验Dataphin功能。相关文档 试用开通成功后,您可按照 Dataphin新手引导 一步步体验Dataphin的研发流程,也可按照 导入模型 来导入...

调用API

在为企业建立API生态场景中,您需要调用API进行二次开发或开放API给合作伙伴等,帮助企业实现数据的资产化和价值化。本文为您介绍如何调用API。前提条件 API已发布至数据服务市场。具体操作,请参见 测试与发布API。需先创建应用。具体操作...

步骤一:准备工作

进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 ...

调用API

在为企业建立API生态场景中,您需要调用API进行二次开发或开放API给合作伙伴等,帮助企业实现数据的资产化和价值化。本文为您介绍如何调用API。前提条件 API已发布至数据服务市场。具体操作,请参见 测试与发布API。需先创建应用。具体操作...

步骤一:准备工作

进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 ...

部署模式及版本功能介绍

产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin共享模式(全托管版)全托管又称公共云多租户...

开通Dataphin

注意事项 开通Dataphin前,请您了解以下几点:购买前建议您先联系阿里云 售前咨询 并提供企业数据建设需求及背景信息。待阿里云售前咨询帮您确认Dataphin当前版本及功能是否符合您的需求后,会为您开通购买权限。Dataphin不支持无条件退款...

元数据仓库共享模型概述

业务租户:统称为 开发租户,进行数据中台建设的租户,即进行数据开发和治理的核心使用租户。一个Dataphin实例可以创建多个开发租户,由元仓租户在租户设置页面创建并分配可用资源(数据处理单元数、质量规则数等)。元仓共享模型数据说明 ...

新建基线监控

基线一旦建立后,会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务,并按照设定的预警时间和承诺时间,在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...

新建基线监控

基线一旦建立后,会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务,并按照设定的预警时间和承诺时间,在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...

Python内置资源包

示例代码如下:#加载包 from pyhive import hive#建立连接 conn=hive.connect(host='100.100.*.100',#HiveServer port=10000,#端口 username='xxx',#账号 database='xxx',#数据库 password='xxx')#密码#查询 cursor=conn.cursor()cursor....
共有162条 < 1 2 3 4 ... 162 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
智能数据建设与治理 Dataphin 城市视觉智能引擎 云联络中心 人工智能平台 PAI 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用