创建FTP数据源
在开发网站的时候，您可以使用FTP客户端将网站程序或者网页通过FTP协议上传到Web服务器。如果您使用的是FTP，在对接Dataphin进行数据开发或将Dataphin的数据写入至FTP的场景中，您需要先完成FTP数据源的创建。更多FTP信息，请参见 FTP官网...
准备RAM用户
为保证项目数据安全，推荐您创建RAM用户并交由其他用户使用，实现对参与Dataphin项目的人员权限进行严格把控。本文为您介绍如何创建RAM用户。背景信息 在创建RAM...后续步骤 准备好RAM用户后，即可开通Dataphin服务，请参见 开通Dataphin。
标签工厂新手指引
您可以通过Dataphin标签沉淀易开发、好找好用、高价值的核心标签资产。流程引导 使用标签工厂进行离线标签开发及应用的基本使用流程如下。标签规划。在进行标签开发前，您需要完成标签项目和标签架构的规划工作。创建标签项目：标签项目为...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
标签工厂新手指引
您可以通过Dataphin标签沉淀易开发、好找好用、高价值的核心标签资产。流程引导 使用标签工厂进行离线标签开发及应用的基本使用流程如下。标签规划。在进行标签开发前，您需要完成标签项目和标签架构的规划工作。创建标签项目：标签项目为...
离线模式依赖关系配置
表名 且不区分大小写，以标识本节点产出的表，同时其他节点更好地选择调度依赖关系。例如，开发项目名称为 onedata_dev，建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order，则仅限代码 select*from ...
离线模式依赖关系配置
表名 且不区分大小写，以标识本节点产出的表，同时其他节点更好地选择调度依赖关系。例如，开发项目名称为 onedata_dev，建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order，则仅限代码 select*from ...
Dataphin新手引导
导入预制模型 是Dataphin内置零售行业数据模型，可快速导入体验模型建设功能。新建流程引导 帮助您从零开始逐步完成数据规划与研发步骤，了解Dataphin的基础操作步骤。单击 去导入 按钮，进入 管理中心-预制模型-模型市场 页面，详情请参见...
公告
Dataphin独享模式（半托管版）降价公告 尊敬的Dataphin用户：您好！十分感谢您对Dataphin的支持，Dataphin也不断推出了更优质的产品功能及更完善的售后服务。为了回馈新老客户，Dataphin独享模式（半托管版）将于 2024年10月30日 针对数据...
管理调度集群
创建集成任务时，为任务指定对应集群下创建好的调度资源组，从而实现同一Region下的数据传输，而无需与Dataphin集群产生数据交换。使用限制 当前仅支持基于最新架构部署的客户使用调度集群管理功能，详情请联系产品运维团队。除默认集群...
网络配置
阿里云API网关：高性能、高可用的API托管服务，跨VPC访问、公网访问等均具有较好的配置性和兼容性。查看域名 不同的网关支持查看不同的域名。阿里公共云API网关-专享实例、阿里公共云API网关-共享实例、阿里专有云API网关支持查看公网二级...
管理调度集群
创建集成任务时，为任务指定对应集群下创建好的调度资源组，从而实现同一Region下的数据传输，而无需与Dataphin集群产生数据交换。使用限制 当前仅支持基于最新架构部署的客户使用调度集群管理功能，详情请联系产品运维团队。除默认集群...
查询并下载数据
因Impala基于内存计算，IMPALA_SQL即席查询相对于HIVE_SQL即席查询具备更好的查询响应。同时Dataphin支持IMPALA_SQL和HIVE_SQL任务类型的快速切换，对于历史任务无需再次编写相同的查询代码。具体操作，请参见 附录：切换任务类型。前提...
调度集群管理概述
创建集成任务时，为任务指定对应集群下创建好的调度资源组，从而实现同一Region下的数据传输，而无需与Dataphin集群产生数据交换。调度集群管理入口 使用元仓租户的 超级管理员 或 系统管理员 登录Dataphin。在Dataphin首页，单击顶部菜单...
新建用户自定义函数
背景信息 Dataphin系统根据函数类型定义了函数的目录，帮助您更好地管理函数。操作步骤 请参见 数据开发入口，进入 数据开发 页面。按照下图操作指引，进入 新建函数 对话框。系统支持新建的函数类型，根据Dataphin系统的计算引擎不同而...
MaxCompute湖仓一体
创建好计算源后，即可创建项目，并将创建好的计算源注册为MaxCompute的计算源。基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑...
新建Doris数据源
基于此，能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景。更多信息，请参见 Doris官网。权限说明 仅支持具备 新建数据源权限点 的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员 ...
新建Doris数据源
基于此，能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景。更多信息，请参见 Doris官网。权限说明 仅支持具备 新建数据源权限点 的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员 ...
MaxCompute湖仓一体
创建好计算源后，即可创建项目，并将创建好的计算源注册为MaxCompute的计算源。基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑...
自定义调度资源组概述
自定义资源组可以设置应用场景，以便更好的管控资源使用范围。应用场景包括 任务日常调度 和 批量运维操作。任务日常调度：任务日常调度的自定义资源组可用于即席查询、临时运行、周期调度等场景，需要配置可使用该资源组的关联项目。批量...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
租户设置
数据建设与治理 调度资源 仅支持输入=0 数值，保留1位小数。CPU：给当前租户所分配的剩余CPU百分比。内存：给当前租户所分配的剩余内存百分比。说明 仅开通了自定义资源组功能时需要配置调度资源；当前仅支持基于最新架构部署的客户使用...
常用命令
本文为您介绍Dataphin支持SQL常用开发命令。类型 属性 是否支持 SET yarn.timeline-service.enabled 是
权限审计
Dataphin支持对数据表、数据源的权限进行查看、搜索、审计与下载，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。Dataphin支持对数据表、数据源的权限变更操作进行查看、搜索、审计与下载，以此来判断授权、回收、交还...
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
资源治理介绍
资源治理流程介绍 资源治理功能介绍
IP白名单
设置IP白名单后，用户仅能从配置的IP地址登录，默认关闭，开启后立即生效。白名单在身份认证环节对用户生效，在不同租户登录都会进行拦截。当前仅公共云独立部署环境支持配置IP白名单，需联系Dataphin运维团队开启。
沙箱执行
在公共云SaaS下，Dataphin支持了沙箱执行以隔离数据访问。任务调度引擎在启动任务时，会将任务运行在内置的安全沙箱内，保障任务和服务的安全性。安全沙箱提供以下能力：限制网络请求：禁止用户任务请求敏感服务，如Dataphin内部服务等。...
数据备份与删除
SAAS版本：Dataphin元数据库采用跨可用区高可用版本，每天自动快照备份。
函数操作
本文为您介绍Dataphin支持的函数操作。功能 是否支持 函数操作 是 MAX_PT 是 支持使用Dataphin项目名称进行检索数据。例如，Dataphin的项目英文名称为biz_cdm，该项目下有分区表biz_order、分区键为ds。则您可以执行以下语句查询数据。...
权限审计
Dataphin支持对数据表、数据源的权限进行查看、搜索、审计与下载，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。Dataphin支持对数据表、数据源的权限变更操作进行查看、搜索、审计与下载，以此来判断授权、回收、交还...
数据加密
用户在Dataphin配置的敏感信息会采用AES256、DES、RSA等算法加密存储，敏感数据包括数据源、计算源的连接信息和用户授权的采样数据；敏感数据在Dataphin产品上脱敏显示，用户不会通过Dataphin获取到敏感数据。密钥根据不同的部署云环境进行...
日志审计
Dataphin产品提供了操作的审计日志输出，根据不同的部署模式提供不同的审计日志导出方式。阿里云公共云独立部署模式下，容器服务集成对接了阿里云日志服务（LogService），可通过LogService自动采集和可视化过滤、检索。...
基本概念
本文为您介绍资产质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
函数操作
本文为您介绍Dataphin支持的函数操作。功能 是否支持 函数操作 是 MAX_PT 是 支持使用Dataphin项目名称进行检索数据。例如，Dataphin的项目英文名称为biz_cdm，该项目下有分区表biz_order、分区键为ds。则您可以执行以下语句查询数据。...
数据传输加密
浏览器与服务器端访问统一使用SSL加密，即使用HTTPS协议访问。Dataphin内部服务接口权限控制：内部RPC接口调用采用密钥和白名单方式进行控制，数据内容是二进制传输。公共云SaaS下的数据服务支持HTTPS协议访问。支持配置使用公有云的阿里云...
- 产品推荐
- 这些文档可能帮助您