创建衍生原子指标
例如，一个已提交的原子指标为支付金额，另一个已提交的原子指标为支付人数，您可以通过新建衍生原子指标的方式统计人均支付金额。本文为您介绍如何创建衍生原子指标。操作步骤 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引...
三方库管理
进行Python Module的 在线安装 或 升级 时，系统将按照 由上至下 顺序连接镜像源，连接成功时则使用该镜像源进行安装或升级，连接失败则尝试下一个镜像源。添加镜像源：若需添加镜像源，请参见 添加镜像源。刷新：单击 刷新镜像源列表。③ ...
聚合函数
返回值说明：函数返回一个数组，它包含了指定的一个分组中的指定表达式或者列中的所有值，包括null。avg 命令格式 avg(value)命令说明：计算平均值。参数说明：value：必填。1个计算平均值的列名或者表达式。返回值说明：函数返回一个分组...
配置Impala输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
API管理
静默期 在短时间内多次告警，可以设置一个静默期，在发送告警信息后的静默期期间，系统不再重复发送相同API告警规则的信息。单击 确定，完成API的告警配置。应用调用API运行过程中，如果触发了监控告警规则，系统会给您发送告警消息，便于...
配置HDFS输出组件
导出列头 选择是否导出列头：导出：会在每一个文件中的第一行输出字段名。不导出：则文件的第一行为数据。输入字段 展示从输入表中读取的字段。输出字段 展示目标表的字段。同时您也可以通过 批量添加 和 新建输出字段 的方式手动添加输出...
任务运行资源说明
任务资源分类 Dataphin任务按运行模式可分为两大类：共享调度资源任务：对于共享调度资源任务，所有共享调度资源的任务会运行在同一个容器中。例如，SQL任务、逻辑表任务、基于计算模板创建的且计算模板已开启 共享资源 配置的任务。更多...
新建Session集群
使用限制 目前一个租户仅支持创建一个Session集群。权限说明 仅支持 超级管理员 或 系统管理员 新建Session集群。操作步骤 在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 Session集群 对话框。在 新建Session集群 ...
任务运行资源说明
任务资源分类 Dataphin任务按运行模式可分为两大类：共享调度资源任务：对于共享调度资源任务，所有共享调度资源的任务会运行在同一个容器中。例如，SQL任务、逻辑表任务、基于计算模板创建的且计算模板已开启 共享资源 配置的任务。更多...
数据服务
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务并且当前租户已...
创建Redis数据源
背景信息 Redis一个高性能的key-value数据库，多用于缓存，事件发布或订阅，高速队列等场景。更多学信息，请参见 Redis官网。权限说明 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员 ...
准备阿里云账号
步骤三：创建访问密钥AccessKey 为保证后续作业可以顺利运行，您需要创建一个运行密钥AccessKey。该密钥与注册阿里云账号时设置的账号、密码不同，主要用于在阿里云各产品间互相认证时使用权限。AccessKey包括AccessKey ID和AccessKey ...
数据服务概述
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin ...
什么是Dataphin
这个过程可以实现各类业务数据的同步与集成，助您完成基础 数据中心 建设，为后续进一步加工数据奠定基础。数据引入 规范定义 以维度建模作为理论基础，构建总线矩阵，划分并定义数据域、业务活动（业务过程）、业务对象（维度）、原子指标...
管理元数据
在任务列表中选中多个任务后，单击底部的 批量转交，选择当前租户下正常使用的成员，单击 确定 后，完成对多个任务负责人的批量转交。说明 转交后原负责人将无法对该元数据配置进行变更操作。删除元数据：单击目标元数据 操作 列下的 图标...
配置TiDB输入组件
在从源数据库读取数据时，可以配置一个特定的批量读取条数（如1024条记录），而不是一条一条地读取，以减少与数据源之间的交互次数，提高I/O效率，并降低网络延迟。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的...
API管理
静默期 在短时间内多次告警，可以设置一个静默期，在发送告警信息后的静默期期间，系统不再重复发送相同API告警规则的信息。状态 支持 开 或者 关。单击 确定，完成API的告警配置。应用调用API运行过程中，如果触发了监控告警规则，系统会...
配置GoldenDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
数据下载配置
下载文件配置 Dataphin数据下载支持完整下载文件格式和样例下载文件格式两个方式，并支持设置样例数据的行数。完整下载文件格式：仅支持 CSV 下载格式 样例下载文件格式：支持 CSV 和 Excel 两种文件格式，选择Excel下载格式，支持开启水印...
配置TiDB输入组件
在从源数据库读取数据时，可以配置一个特定的批量读取条数（如1024条记录），而不是一条一条地读取，以减少与数据源之间的交互次数，提高I/O效率，并降低网络延迟。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的...
创建Presto数据源
背景信息 Presto是一个高性能、分布式SQL查询引擎。它可以对数据进行快速查询和分析，支持各种数据源，如HDFS、MySQL、Cassandra等。Presto可以用于实时查询、交互式分析和大数据集的处理。权限说明 仅支持拥有 新建数据源 权限点的自定义...
创建及管理事件
事件通常可以被认为是用户在应用程序上某个特定时间点发生的一个独立且有意义的操作。例如，用户的行为事件包括用户点击按钮、登录、浏览、交易等。本文将指导您如何新增事件。前提条件 创建事件前需创建用于构建事件的属性。具体操作，请...
配置DM（达梦）输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则单击 ...
管理元数据
在任务列表中选中多个任务后，单击底部的 批量转交，选择当前租户下正常使用的成员，单击 确定 后，完成对多个任务负责人的批量转交。说明 转交后原负责人将无法对该元数据配置进行变更操作。删除元数据：单击目标元数据 操作 列下的 图标...
创建Presto数据源
背景信息 Presto是一个高性能、分布式SQL查询引擎。它可以对数据进行快速查询和分析，支持各种数据源，如HDFS、MySQL、Cassandra等。Presto可以用于实时查询、交互式分析和大数据集的处理。更多信息，请参见 Presto官网。权限说明 仅支持...
创建Redis数据源
背景信息 Redis一个高性能的key-value数据库，多用于缓存，事件发布或订阅，高速队列等场景。更多学信息，请参见 Redis官网。权限说明 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员 ...
配置Doris输入组件
在从源数据库读取数据时，可以配置一个特定的批量读取条数（如1024条记录），而不是一条一条地读取，以减少与数据源之间的交互次数，提高I/O效率，并降低网络延迟。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的...
配置Doris输入组件
在从源数据库读取数据时，可以配置一个特定的批量读取条数（如1024条记录），而不是一条一条地读取，以减少与数据源之间的交互次数，提高I/O效率，并降低网络延迟。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的...
配置GBase 8a输入组件
在从源数据库读取数据时，可以配置一个特定的批量读取条数（如1024条记录），而不是一条一条地读取，以减少与数据源之间的交互次数，提高I/O效率，并降低网络延迟。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的...
配置GBase 8a输入组件
在从源数据库读取数据时，可以配置一个特定的批量读取条数（如1024条记录），而不是一条一条地读取，以减少与数据源之间的交互次数，提高I/O效率，并降低网络延迟。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的...
配置Oracle输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图...
配置PolarDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图...
配置OpenGauss输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置StarRocks输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
用户组权限管理
用户组、资源权限说明 用户组和资源权限两者之间构成多对多的关系，一个用户组可被授予多个资源权限，一个资源权限也可以授权给多个用户组。页面入口 在Dataphin首页，单击顶部菜单栏 管理中心。按照下图指引，进入 用户组权限 页面。用户...
管理标签架构待发布对象
筛选：发布状态：单次可选择一个或多个发布状态来筛选。发布状态包含待发布、发布中、发布成功、发布失败和成功有风险，其中成功有风险代表实际发布成功，但发布的内容和导入的内容不完全一致，不影响发布对象的使用，仅提示风险。变更类型...
配置MySQL数据源
您需要规划一个数据库的登录账号用于后续执行操作，此账号需要拥有数据库的 SELECT、REPLICATION SLAVE、REPLICATION CLIENT 权限。创建账号。您可以参考以下命令为数据库创建账号。CREATE USER 'username'@'host' IDENTIFIED BY 'password...
配置Greenplum输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。支持 枚举形式、类正则形式 以及 两者混合形式，如 table_[001-100];table_102。切分键 配合并发度配置使用。您可以将源数据表中某一列作为切分键，该字段类型必须是整型数字，...
配置MySQL输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择了 多表，则执行以下操作添加表。在输入框...
配置DM（达梦）输入组件
在从源数据库读取数据时，可以配置一个特定的批量读取条数（如1024条记录），而不是一条一条地读取，以减少与数据源之间的交互次数，提高I/O效率，并降低网络延迟。输入过滤 填写输入字段的过滤信息。例如，ds=${bizdate}。输入过滤 适用于...
- 产品推荐
- 这些文档可能帮助您