数据加工过程卡点校验

您可以通过培训等方式,将离线数据的诉求、离线数据的加工过程、数据产品的应用方式告知在线业务开发人员,使其了解数据的重要性、价值及风险。确保在线开发人员在完成业务目标时,也要考虑数据的目标,做到业务端和数据端一致。离线系统卡...

编辑维度

背景信息 编辑维度的权限限制,详情请参见数据开发权限列表。操作步骤 登录Dataphin控制台。在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>gt;您可以通过以下方式,快速进入工作区:选择工作区地域后,单击快速开始相关...

数据库克隆

本文档介绍如何设置数据库克隆工单的审批流程。基础配置项数据库克隆默认审批模板:当审批规则校验中未配置审批流程时,系统会采用此默认的审批模板。您可以通过切换审批模板来更改默认审批模板的审批流程。操作流程请参见修改默认审批模板...

下线和删除业务限定

提交成功的业务限定,状态为已提交。编辑已提交状态的业务限定,并成功保存,状态更改为开发中。已提交状态的业务限定,成功下线后,状态更改为草稿。下线业务限定的限制:仅开发中和已提交状态的业务限定,支持下线操作。仅限无相关派生...

新建SQL任务

您可以通过以下方式,快速进入数据开发模块:单击快速开始相关工作区域的数据研发。单击快速进入研发项目区域的Dev或Basic项目,选择开发数据的项目空间。说明 如果您通过快速开始相关工作进入数据开发模块,则跳过步骤3.i。如果您通过快速...

新建元表

您可以通过以下方式,快速进入工作区:选择工作区地域后,单击快速开始相关工作区域中的数据研发。选择工作区地域后,单击快速进入研发项目后的Dev或Basic页签,选择相应的项目。说明 如果您通过快速开始相关工作进入数据开发模块,则跳过...

步骤五:规范建模

本文为您介绍如何基于本教程完成数据建模。前提条件 完成数据源及项目空间的准备,详情请参见步骤一:准备工作。完成数仓规划,详情请参见步骤二:规划数仓。完成数据集成,详情请参见步骤三:集成数据。完成规范定义,详情请参见步骤四:...

萃取任务

萃取任务由数据萃取模块生成。萃取任务包括行为规则任务、标签任务和系统任务。说明 仅Data_disill项目支持查看萃取任务。请参见入口介绍,进入萃取任务页面。萃取任务的相关说明,请参见通用功能说明。列表区 操作 描述 限制 影响 查看...

数据追踪

本文档介绍如何设置数据追踪工单的审批流程。基础配置项数据追踪默认审批模板:当审批规则校验中未配置审批流程时,系统会采用此默认的审批模板。您可以通过切换审批模板来更改默认审批模板的审批流程。操作流程请参见修改默认审批模板操作...

功能总览

数据方案 数据变更 提供普通数据变更、不锁表数据变更、历史数据清理、可编程对象变更、批量数据导入等多种工单类型,提交后按照“安全规则”配置的影响行数、语法进行校验流程流转,审批通过后可执行。数据导出 提供数据的SQL结果集导出、...

基本概念

栅格数据以数据分块(Tile或Block)的形式存储在Lindorm(HBase)中,每个分块对应于一个主键,并且该主键支持时间和空间查询。此外,Ganos Raster允许多源栅格数据(如遥感、摄影测量和专题地图)之间的融合与分析以及数据服务发布等功能...

管控模式

对于大批量数据的导入可通过数据方案-数据导入进行提交数据变更其他工单类型暂不支持此管控模式使用)。稳定变更模式 管理员或DBA录入实例并设置管控模式。登录实例。管理员、DBA:直接通过输入数据库账号密码登录。普通用户:申请数据库...

新功能发布记录

开启数据安全防护 支持接入达梦数据库(DM)全面直接接入达梦数据库(DM),包括数据导入、数据查询、数据变更、数据导出、数据服务与数据可视化等功能。支持的数据库类型与功能 新增数据类目 对表进行分类,便于管理人员、开发人员及运维...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、用全生命周期的大数据能力,助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算...

编辑业务过程

数据开发页面,单击项目名称后的图标后,单击Dev或Basic页签,选择数据开发的Dev或Basic(非Data_distill)项目。如果您当前访问的是Dev或Basic(非Data_distill)项目,且项目为您的数据开发空间,则不需要选择项目。在数据开发页面,...

标签逻辑表

标签逻辑表id_type和id_value为统计粒度,汇总所有已提交的工厂标签和物理表的手工标签(非标签工厂开发)。标签逻辑表的英文名固定为Ads_distill_标签逻辑表,不支持修改。查看标签逻辑表 登录Dataphin控制台。在Dataphin控制台页面,...

迁移时源库为PolarDB-X 2.0的注意事项及限制

如果迁移的源实例为PolarDB-X 2.0,您需要在配置具体的迁移任务前,参考本文的注意事项及限制,保障数据迁移任务的正常运行。源库为PolarDB-X 2.0的迁移方案概览 根据如下迁移方案,查看迁移任务的注意事项及限制:PolarDB-X 2.0迁移至...

云数据库录入

数据管理DMS提供录入实例的功能,您可以使用数据管理DMS录入并管理您的云数据库。前提条件 您已创建目标实例,例如MySQL实例。您已开通DMS服务。您的DMS账号角色为管理员角色或DBA角色。若子账号录入RDS数据库,需获得AliyunRDSFullAccess...

自定义RDBMS数据库及同步数据

为了满足不同业务场景数据集成的诉求,Dataphin支持用户自定义当前系统不支持的RDBMS数据库(关系型数据库)类型的组件,并进行数据同步。您只需要准备关系型数据库的驱动,即可自定义RDBMS数据库类型的组件。本教程MySQL为例,为您介绍...

配置同步任务

数据库类型 数据源 关系型数据库 MySQL、Vertica、Oracle、SQL Server、PostgreSQL、DRDS 分析型数据库 AnalyticDB、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL 阿里云大数据数仓存储 MaxCompute 开源大数据数仓存储 Hive、...

下线和删除离线单条管道

提交成功的管道脚本,状态为已提交。编辑已提交状态的离线单条管道脚本,并成功保存,状态更改为开发中。已提交状态的离线单条管道,成功下线后,状态更改为草稿。下线离线单条管道的限制:仅开发中和已提交状态的离线单条管道脚本支持下线...

测试数据构建

本文档介绍如何设置测试数据构建工单的审批流程。基础配置项测试数据构建默认审批模板:当审批规则校验中未配置审批流程时,系统会采用此默认的审批模板。您可以通过切换审批模板来更改默认审批模板的审批流程。操作流程请参见修改默认审批...

云数据库录入

数据管理DMS提供录入实例的功能,您可以使用数据管理DMS录入并管理您的云数据库。前提条件 您已创建目标实例,例如MySQL实例。您已开通DMS服务。您的DMS账号角色为管理员角色或DBA角色。若子账号录入RDS数据库,需获得AliyunRDSFullAccess...

批量导出与导入

OceanBase 开发者中心(OceanBase Developer Center,ODC)支持批量导出和导入数据库对象的结构和数据。进入数据库连接后,单击上方导航栏中的 工具 标签,在弹出的下拉菜单中单击 导出 或 导入 标签进入导出设置与导入设置面板。批量导出...

数据变更优化

向表中写入数据时,可以通过批量打包方式INSERT和REPLACEINTO提高数据写入性能。建议如下:通过每条INSERT或者REPLACE语句写入的数据行数大于1000行,但写入的总数据量不宜太大,不超过16MB。通过批量打包方式写入数据时,单个批次的写入...

新建工厂标签

本文为您介绍如何新建工厂标签,帮助您完成行为偏好标签的创建。前提条件 完成行为规则的创建,...说明 提交后的标签需进行补数据操作,获取所选时间跨度内的历史行为数据作为来源数据。如果您未进行补数据操作,则标签结果表数据可能为空。

入湖任务管理

增量数据库:可以实现RDS MySQL数据库表数据增量同步到数据湖,选择在数据源管理中配置好的RDS MySQL链接,将数据源对应数据库中选定表的数据抽取binlog的方式数据库表数据实时同步回放到数据湖中。待抽取的MySQL表需确认包含主键,否则...

技术原理

扩展性原理 扩展性本质在于分而治之,PolarDB-X计算资源通过水平拆分(分库分表)和垂直拆分,将数据分散到多个存储资源MySQL实现获取数据读写并发和存储容量分散的效果。水平拆分(分库分表)PolarDB-X具备数据水平拆分的能力,将数据库...

热点行优化

减少B-tree索引的遍历 MySQL是B-tree索引的方式管理数据的,每次执行查询时,都需要遍历索引才能定位到目标数据行,数据表越大,索引层级越多,遍历时间就越长。在前面提到的对更新操作进行分组的机制中,只有每组的Leader遍历索引定位...

新建API

请求方式 请求方式包括:GET LIST 数据更新频率 数据更新频率包括:每天 每小时 每分钟 描述 填写对API简单的描述。协议 选择通过API同步数据的协议。协议包括:HTTP HTTPS 单击下一步。配置参数。在参数配置页面,配置参数。编号 参数 ...

计费方式

阿里云图数据库GDB,针对GDB数据库实例进行收费,支持按量后付费与包年包月预付费两种计费方式。其中包年包月价格更低,对于长期使用的用户推荐选择此种计费方式。测试场景可以先选择按量付费,待测试完毕,配置确定后,可以在控制台上操作...

用户管理

安全管理员:具备所有数据库表的直接查询权限,具备系统管理-智能化运维、操作日志、数据保护伞、敏感数据管理、权限管理、库表结构、数据方案等这几项系统管理入口的操作,但不具备提交非权限申请以外其他类型工单的权限(需要显示开通...

创建逻辑表

数据开发页面,单击项目名称后的图标后,单击Dev或Basic页签,选择数据开发的Dev或Basic(非Data_distill)项目。如果您当前访问的是Dev或Basic(非Data_distill)项目,且项目为您的数据开发空间,则不需要选择项目。在数据开发页面,...

编辑离线单条管道

离线单条管道即处理离线同步任务的一条管道脚本。...如果您的数据开发模式是Basic,则不需要发布已提交的离线单条管道(提交后的离线单条管道就可以参与调度)。icmsDocProps={'productMethod':'created','language':'zh-CN',};

步骤一:创建数据

背景信息 通常,您的业务数据需采用创建同步任务或管道任务的方式,导入Dataphin平台中的萃取项目,构建行为规则和标签。本教程为了让您快速熟悉标签构建的流程,采用代码任务的方式构建业务数据。本教程中的数据表包括:用户浏览商品的...

SQL变更

fac.detail_type 数据变更的种类:COMMON:普通数据变更CHUNK_DML:无锁数据变更PROCEDURE:存储过程CRON_CLEAR_DATA:定时清理表BIG_FILE:批量数据导入@fac.is_logic 是否为逻辑库。fac.extra_info 其他变更信息(暂无用途)。fac.is_...

SQL结果集导出

数据管理DMS支持导出SQL结果集,您可以在DMS中按需编写查询的SQL语句,提取并导出相关数据。前提条件 数据库类型如下:关系型数据库:MySQL系列:自建MySQL、RDS MySQL、PolarDB MySQL、PolarDB-X、OceanBase MySQL SQL Server系列:自建...

克隆业务过程

背景信息 克隆业务过程的权限限制,详情请参见数据开发权限列表。操作步骤 登录Dataphin控制台。在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>gt;您可以通过以下方式,快速进入工作区:选择工作区地域后,单击快速开始...

新建Shell任务

本文MySQL数据库为例为您介绍,请您下载JSON文件。新建Shell任务的权限限制,详情请参见数据开发权限列表。操作步骤 登录Dataphin控制台。在Dataphin控制台页面,选择工作区地域后,单击进入Dataphin>gt;您可以通过以下方式,快速进入...

新建服务单元

数据的开发和提交均调用开发环境的数据数据的发布调用生产环境的数据。使用限制 系统支持超级管理员和开发者角色的成员新建服务单元,更多关于服务单元的操作限制,请参见数据服务权限列表。新建单物理表服务单元 进入个人工作台。在个人...
< 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 轻量应用服务器 块存储 SSL证书 商标 短信服务 对象存储
这些文档可能帮助您
什么是云数据库RDS 价格、收费项与计费方式 企业版(Tair)简介 主实例规格列表 如何选择备份方式 DBS计费概述

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折