元仓租户权限说明
元仓简介 Dataphin元数据仓库，简称元仓，是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间，由一系列周期性的数据集成节点、SQL脚本节点、Shell节点组成。...
映射关系概述
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。...全部展开 视角下，为您展示每个对象（如字段）与数据标准的一一映射关系，如果一个对象映射到了多个数据标准，将生成多条映射关系。
编辑器快捷键列表
本文为您介绍Dataphin中代码编辑器在Chrome浏览器...撤销最后一个光标 C ommand+U Ctrl+U 查找光标选中内容（下一个或上一个）Command+G 或 Shift+Command+G Ctrl+G 或 Ctrl+Shift+G 选择多列编辑 Shift+Option+拖拽鼠标 Ctrl+Shift+拖拽鼠标
元数据采集概览
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储Hive、Hologres等，可一览不同数据源类型已创建的...说明 一个数据源仅支持配置一个采集任务，同一个数据源的2个不同环境源（开发环境和生产环境）可分别配置采集任务。
编辑器快捷键列表
本文为您介绍Dataphin中代码编辑器在Chrome浏览器下...撤销最后一个光标 Command+U Ctrl+U 查找光标选中内容（下一个或上一个）Command+G 或 Shift+Command+G Ctrl+G 或 Ctrl+Shift+G 选择多列编辑 Shift+Option+拖拽鼠标 Ctrl+Shift+拖拽鼠标
运行设置
因此支持引用了同一个离线计算模板的多个Shell和Python任务可以共享运行资源，以提升资源利用率。出于权限控制和安全性考虑，首先需要由运维租户在管理中心的运行配置部分开启是否共享运行资源的全局开关。开启后，超级管理员可以针对每个...
资产安全概述
因为在实际的生产过程中，往往会有上千张表，上万个字段，这么多字段全部通过人工标注敏感程度并不现实。Dataphin提供了 基于规则自动识别敏感字段 的功能，可以基于字段的名称或者字段的内容，自动识别出敏感字段。同时，识别规则还支持...
资产安全概述
因为在实际的生产过程中，往往会有上千张表，上万个字段，这么多字段全部通过人工标注敏感程度并不现实。Dataphin提供了 基于规则自动识别敏感字段 的功能，可以基于字段的名称或者字段的内容，自动识别出敏感字段。同时，识别规则还支持...
跨节点输出参数赋值
本文将为您介绍如何为跨节点输出参数赋值。在跨节点输出参数中声明跨节点输出参数后,可在代码中对参数赋值。...或其他查询语句，将取查询结果的第一行，字段名称为参数名，字段取值为参数值。在编辑器中鼠标右键单击并选择 设置跨节点参数。
删除项目
选中一个或多个目标项目，或选中底部的 全选，单击 删除 进行批量删除。说明 当选中Dev-Prod类型项目中的任一项目时，系统将自动选中相应的配对项目。在 批量删除项目 对话框中选中 状态 列为 无对象 的项目，完成后单击 确定。说明 在Dev-...
实时模式时间参数配置
为了规避在 任务参数 处经常漏掉配置 stat_date，您只需要在实时任务配置的属性配置中新增 stat_date 的 kv 配置，其中 Value 是一个基于业务时间的表达式，同时您也可以配置多个时间参数，使用半角分号;分割。例如：stat_date=${yyyyMMdd-...
实时模式时间参数配置
为了规避在 任务参数 处经常漏掉配置 stat_date，您只需要在实时任务配置的属性配置中新增 stat_date 的 kv 配置，其中 Value 是一个基于业务时间的表达式，同时您也可以配置多个时间参数，使用半角分号;分割。例如：stat_date=${yyyyMMdd-...
条件调度规则说明
示例说明 业务日期以2022-12-06为例，使用或运算配置上图条件判断：第一条判断：2022-12-06 在普通日历中不属于星期中的周六或周天，即第一个条件判断为假。第二条判断：2022-12-06 在公共日历 text01 中日历类型为假日，即第二个条件判断...
分析业务过程
业务过程可以是单个业务事件（例如交易的支付、退款），也可以是某个事件的状态（例如当前的账户余额），还可以是一系列相关业务事件组成的业务过程。具体取决于您分析的是某些事件过去的发生情况、当前状态，或是事件流转效率。分析业务...
删除项目
选中一个或多个目标项目，或选中底部的 全选，单击 删除 进行批量删除。说明 当选中Dev-Prod类型项目中的任一项目时，系统将自动选中相应的配对项目。在 批量删除项目 对话框中选中 状态 列为 无对象 的项目，完成后单击 确定。说明 在Dev-...
跨节点输出参数赋值
本文将为您介绍如何为跨节点输出参数赋值。...或其他查询语句，将取查询结果的第一行，字段名称为参数名，字段取值为参数值。在编辑器中鼠标右键单击并选择 设置跨节点参数。说明 ADB_PG_SQL任务不支持右键菜单快捷方式，请手动输入命令。
条件调度规则说明
示例说明 业务日期以2022-12-06为例，使用或运算配置上图条件判断：第一条判断：2022-12-06 在普通日历中不属于星期中的周六或周天，即第一个条件判断为假。第二条判断：2022-12-06 在公共日历 text01 中日历类型为假日，即第二个条件判断...
实时研发基本流程
现在要开始设计一个营销活动，在活动期间需要实时地统计每个产品类型的销售数量，用于快速地支持活动方案调整。以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另...
登录认证概述
应用场景 降低用户管理成本：企业已有的认证系统集成Dataphin登录认证，可以基于已有的认证系统进行Dataphin的用户访问权限管理，而无需为每一个使用Dataphin的用户设置新账户。从而统一身份认证和机制，降低用户管理成本。提升用户体验：...
规范建模
汇总逻辑表有且仅有一个统计粒度，同一个统计时效下统计粒度相同的派生指标属于一个汇总逻辑表。汇总逻辑表的主键即组成统计粒度的维度（维度逻辑表的主键）组合，主键之外的字段全部都是指标。添加派生指标和衍生指标 新建注册上挂指标 ...
实时研发基本流程
现在要开始设计一个营销活动，在活动期间需要实时地统计每个产品类型的销售数量，用于快速地支持活动方案调整。以下为数据流向的示意图：订单系统MySQL的数据通过Ververica Flink任务进行实时计算，实时汇总各产品类型的销售数量并写入另...
规范建模
汇总逻辑表有且仅有一个统计粒度，同一个统计时效下统计粒度相同的派生指标属于一个汇总逻辑表。汇总逻辑表的主键即组成统计粒度的维度（维度逻辑表的主键）组合，主键之外的字段全部都是指标。添加派生指标和衍生指标 新建注册上挂指标 ...
Session集群管理概述
Session集群是一个适用于Flink任务快速启停的可交互集群，您可以在Session集群中实时调试和测试Flink任务。Session集群提供了Flink任务状态、日志和输出结果的实时查看功能，您可以通过观察任务的行为和输出来验证任务的正确性，进行迭代式...
创建及管理ID
用于定义以及管理平台...说明 同一个ID可关联多个实体。描述 填写该ID的简单描述信息，1000个字符以内。单击 确定，完成ID的创建。后续步骤 完成ID创建后，在创建标签时您可使用该ID及对应实体进行标签开发。更多信息，请参见 离线标签概述。
步骤三：创建实时计算表
现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量数据。步骤一：创建 oms_orders订单来源元表 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建表 对话框。在 新建表 页面，配置相关参数。参数 描述...
Session集群管理概述
Session集群是一个适用于Flink任务快速启停的可交互集群，您可以在Session集群中实时调试和测试Flink任务。Session集群提供了Flink任务状态、日志和输出结果的实时查看功能，您可以通过观察任务的行为和输出来验证任务的正确性，进行迭代式...
创建变更策略
重要 每个规则仅能被一个变更策略使用。同时您也可以创建新的变更规则，具体操作请参见 创建变更规则。完成配置管控行为后，单击 下一步。圈选校验范围。您可以通过以下方式圈选校验范围：表达式配置：您可以选择自定义添加或引用系统规则...
创建API数据源
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 URL地址 请填写API请求的...
配置TiDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
创建及管理ID
用于定义以及管理平台...说明 同一个ID可关联多个实体。描述 填写该ID的简单描述信息，1000个字符以内。单击 确定，完成ID的创建。后续步骤 完成ID创建后，在创建标签时您可使用该ID及对应实体进行标签开发。更多信息，请参见 离线标签概述。
步骤三：创建实时计算表
现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量数据。步骤一：创建 oms_orders订单来源元表 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 新建表 对话框。在 新建表 页面，配置相关参数。参数 描述...
配置MySQL输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
明确统计指标
派生指标唯一归属于一个原子指标，且继承原子指标的数据域。确定指标 本教程中，用户是A公司电商营销部门的营销数据分析师。数据需求为最近一天厨具类目的商品在各省的销售总额、该类目销售额前10的商品名称、各省用户购买力分布（人均消费...
创建变更策略
重要 每个规则仅能被一个变更策略使用。同时您也可以创建新的变更规则，具体操作请参见 创建变更规则。完成配置管控行为后，单击 下一步。圈选校验范围。您可以通过以下方式圈选校验范围：表达式配置：您可以选择自定义添加或引用系统规则...
汇总数据层（DWS）
汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS汇总数据层是面向分析对象的主题聚集建模。在本教程中，最终的分析目标为：最近一天某个...
创建API数据源
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 URL地址 请填写API请求的...
配置GBase 8a输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
创建衍生原子指标
例如，一个已提交的原子指标为支付金额，另一个已提交的原子指标为支付人数，您可以通过新建衍生原子指标的方式统计人均支付金额。本文为您介绍如何创建衍生原子指标。操作步骤 请参见 规范建模入口，进入 规范建模 页面。按照下图操作指引...
三方库管理
进行Python Module的 在线安装 或 升级 时，系统将按照 由上至下 顺序连接镜像源，连接成功时则使用该镜像源进行安装或升级，连接失败则尝试下一个镜像源。添加镜像源：若需添加镜像源，请参见 添加镜像源。刷新：单击 刷新镜像源列表。③ ...
新建Session集群
使用限制 目前一个租户仅支持创建一个Session集群。权限说明 仅支持 超级管理员 或 系统管理员 新建Session集群。操作步骤 在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 Session集群 对话框。在 新建Session集群 ...
- 产品推荐
- 这些文档可能帮助您