Dataphin智能数据建设与治理服务等级协议（半托管）
版本生效日期：2024年03月26日 本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的智能数据建设与治理（简称“Dataphin”）的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于...
确定需求
在基于Dataphin构建与管理企业数据中台之前，首先需要确定数仓构建的目标与需求，进行全面的业务调研。您需要了解真实的业务需求是什么，以及确定整个业务系统能解决什么问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，...
变更管控
变更管控功能是指在变更环节（如提交、发布、运维操作等），通过配置...规则配置完成后，支持配置规则及策略生效灵活开关，以调整管控规则及策略配置，实现不同的管控效果，从而减少人工干预成本，也能进一步提升平台建设的规范性和稳定性。
变更管控
变更管控功能是指在变更环节（如提交、发布、运维操作等），通过配置...规则配置完成后，支持配置规则及策略生效灵活开关，以调整管控规则及策略配置，实现不同的管控效果，从而减少人工干预成本，也能进一步提升平台建设的规范性和稳定性。
Dataphin智能数据建设与治理试用服务协议
协议版本生效日期：2022年11月22日 本协议是 Dataphin智能数据建设与治理（简称“Dataphin”）与您就 Dataphin 提供的免费试用服务的相关事项所订立的有效合约。1.免费试用内容说明 1.1 免费试用次数：每个 UID 仅可开通 1 次免费试用。1.2...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
引入预制模型
模型市场为您提供开箱即可试用的模型示例，降低您的学习成本以及理解Dataphin的成本，帮助您快速建立企业模型。本文为您介绍如何导入模型示例。视频介绍 权限说明 仅支持超级管理员、系统管理员导入模型。计算引擎说明 仅当计算设置中的...
创建FTP数据源
如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成FTP数据源的创建。更多FTP信息，请参见 FTP官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建...
创建FTP数据源
如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成FTP数据源的创建。更多FTP信息，请参见 FTP官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建...
设置Dataphin实例的计算引擎
校验成功后，单击 确认并开始数据建设，即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后，您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作，请参见 准备数据源和计算源。
使用限制
本文为您介绍使用Dataphin过程中的操作限制。浏览器限制 您需要使用Google Chrome浏览器90.x及以上版本或者奇安信可信浏览器登录Dataphin。使用限制 为保障软件系统稳定，Dataphin有部分使用上的限制或建议，详情如下表所示。功能项 操作项...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
明细数据层（DWD）
本教程中，我们选择交易成功这个业务过程，建立事务型事实表。确定粒度。事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述：一种是维度属性组合所表示的细节程度；一种是所表示的具体业务含义（例如商品）...
Python内置资源包
以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin内置的资源包，同时您也可以在Shell计算任务中运行 pip list ...
Python内置资源包
以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin内置的资源包，同时您也可以在Shell计算任务中运行 pip list ...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
日志审计
Dataphin产品提供了操作的审计日志输出，根据不同的部署模式提供不同的审计日志导出方式。阿里云公共云独立部署模式下，容器服务...其他云平台的部署模式下，Dataphin将审计日志输出到应用所在的磁盘中，可通过其他采集工具进行日志的采集。
基本概念
本文将为您介绍告警中心中的告警事件、推送记录、值班表和推送渠道等基本概念。概念 描述 告警事件 基于告警对象和告警规则构成的事件。推送记录 告警中心将告警消息推送给订阅用户的记录。值班表 为接收并处理告警事件的人员提供了排班...
管理数据源标签
Dataphin数据源管理标签以标签的形式能够更好的帮助您管理业务中常用的数据源。您可以在管理标签列表中查看数据源被引用的信息。权限说明 Dataphin仅支持 超级管理员、数据源管理员 新建及管理数据源标签。新建数据源管理标签 在Dataphin...
申请资产权限
上架到资产市场的标签，可以被市场成员申请至项目中进行使用。申请至项目中的标签可以选择规则组合方式加工新标签；申请至应用的标签可以创建标签离线服务、实时查询服务，进行标签应用。本文将指导您如何申请标签权限。申请标签权限 请...
手动运行标签
若您的标签更新方式为手动更新，您可手动选择所需运行的版本并运行标签...在 离线标签 列表中选择所需手动运行的标签并单击操作栏。在 运行 对话框中，选择所需运行的版本。单击 确定，即可运行标签。说明 手动运行时计算的是最新分区的数据。
基本概念
本文将为您介绍告警中心中的告警事件、推送记录、值班表和推送渠道等基本概念。概念 描述 告警事件 基于告警对象和告警规则构成的事件。推送记录 告警中心将告警消息推送给订阅用户的记录。值班表 为接收并处理告警事件的人员提供了排班...
管理数据源标签
Dataphin数据源管理标签以标签的形式能够更好的帮助您管理业务中常用的数据源。您可以在管理标签列表中查看数据源被引用的信息。权限说明 Dataphin仅支持 超级管理员、数据源管理员 新建及管理数据源标签。新建数据源管理标签 在Dataphin...
静态脱敏
系统支持在代码任务中引用脱敏算法函数脱敏字段，将脱敏后的数据写入开发环境或生产环境的目标表。静态脱敏入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 静态脱敏 页面。静态脱敏操作指引 步骤一：安装算法包 在...
创建实体
在 新建实体 对话框中，配置实体相关信息。参数 描述 实体名称 填写实体名称。命名规则：允许中英文、数字、下划线或连字符，64字符以内。实体code 必须以字母开头，允许小写英文字母、数字、下划线，64字符以内。责任人 负责该实体的信息...
静态脱敏
系统支持在代码任务中引用脱敏算法函数脱敏字段，将脱敏后的数据写入开发环境或生产环境的目标表。静态脱敏入口 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 静态脱敏 页面。静态脱敏操作指引 步骤一：安装算法包 在...
登录安全设置
可设置的时间范围为15分钟~1440分钟（24小时）之间的正整数。关闭浏览器自动退出登录 开启后，关闭浏览器时账号将自动退出登录状态。单击 确定，完成登录安全设置。相关文档 登录安全设置完成后，您可将企业不同角色的人员加入至Dataphin，...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
发布中心概述
发布成功的数据对象将从待发布对象列表移除，并在发布记录列表中生成一条发布成功的记录。发布失败的数据对象将继续记录在待发布对象列表，同时在发布记录列表中生成一条发布失败的记录。发布中心入口 在Dataphin产品首页，单击顶部菜单栏...
消息渠道概述
功能介绍 Dataphin中您可通过钉钉群或邮件发送告警消息。在成员管理中配置好成员的钉钉群机器人的webhook（如何配置钉钉群机器人的webhook，请参见 配置成员和超级管理员的联系方式）。当任务运行、质量规则、服务监控等系统触发了配置好的...
发布中心概述
发布成功的数据对象将从待发布对象列表移除，并在发布记录列表中生成一条发布成功的记录。发布失败的数据对象将继续记录在待发布对象列表，同时在发布记录列表中生成一条发布失败的记录。发布中心入口 在Dataphin产品首页，单击顶部菜单栏...
操作功能权限
在 资产 页面，单击顶部菜单栏中的 权限。在 权限管理 页面，单击左侧导航栏中 我管理的 下的 功能权限。在 功能权限 页面，单击需要授权功能权限所在行 操作 列下的 图标。根据功能权限授权对话框提示，配置参数。参数 描述 授权用户 选择...
数据源管理
操作步骤 在Dataphin首页，单击顶部菜单栏中的 资产。按照下图指引，进入 设置限速 页面。在 设置限速 页面，设置 限速时段 后，单击 确定。可以单击 添加时段，添加多个时段，最多添加10个。参数 描述 生效时段 设置限速生效时段。最大...
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
数据源管理
操作步骤 在Dataphin首页，单击顶部菜单栏中的 资产。按照下图指引，进入 设置限速 页面。在 设置限速 页面，设置 限速时段 后，单击 确定。可以单击 添加时段，添加多个时段，最多添加10个。参数 描述 生效时段 设置限速生效时段。最大...
新建资产市场
资产市场管理用于新建以及管理私有及公共资产市场的基本信息，包括市场管理员、市场类目、描述等，在工作台中开发好的标签都可以申请上架于资产市场。可以定义一个公共资产市场以及多个私有资产市场，项目中的标签仅可上架到关联的市场中，...
- 产品推荐
- 这些文档可能帮助您