什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
空间数据（邀测中）
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
功能简介
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据...，使得空间数据被用于数仓建设、标签管理等数据中台任务...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
自治中心
在数据库日常运维中，您可以通过查看数据库实例中异常事件、优化事件、弹性伸缩事件等，及时且全面地了解数据库的性能问题及相关的运维操作。本文介绍如何通过数据库自治服务DAS的自治中心功能，实时查看数据库实例的各类性能事件及其详细...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
多账号统一管理
便于企业有效地执行数据安全管理任务，如自动发现敏感数据、数据分类分级、以及对潜在安全威胁的监测和报警。本文介绍如何使用多账号统一管理功能。使用须知 使用多账号统一管理功能的阿里云账号和被管理的阿里云账号必须同属于一个资源...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
创建全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据均保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
我的看板
数据来源 在工作台中创建并发布的数据看板内容，会同步在此处展示，若数据看板仅编辑完成，但是未发布，则在此处不展示。如需编辑某一看板内容，请单击页面右上角的 前往可视化工作台，编辑并发布对应数据看板后，刷新当前页面即可。操作...
基于Client SDK数据写入
说明 通过 e.getErrData()即可获得异常数据List，此错误码在 addMap(s)、addRow(s)、commit 操作的时候都可能会发生，因此在这些操作的时候需要单独处理此错误码的异常 COMMIT_ERROR_OTHER 102 commit中的其他异常。ADD_DATA_ERROR 103 add...
添加 MySQL 数据源的白名单
进入云服务器 ECS 控制台的 安全组 页面，在 创建安全组 右侧的下拉列表中选择 专有网络 ID，粘贴 VPC ID 筛选安全组。单击目标安全组的名称，进入详情页面。在 入方向 快速添加 IP 地址。复制 OMS 控制台 添加数据源 对话框中显示的 ...
在程序中通过AnalyticDB MySQL版Client高效写入数据到...
COMMIT_ERROR_DATA_LIST 101 提交中某些数据出现异常，会返回异常的数据，通过 e.getErrData()即可获得异常数据List。此错误码在 addMap(s)、addRow(s)和提交操作的时候都可能会发生，需要单独处理此错误码的异常。COMMIT_ERROR_OTHER 102 ...
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
创建数据源
概述 您可以通过以下方式创建 OceanBase 开发者中心（OceanBase Developer Center，ODC）数据源：ODC 首页中创建数据源：进入 ODC 首页后，单击 新建数据源 按钮创建数据源。公有云实例中创建数据源：公有云的实例中，单击 登录数据库，...
添加 Oracle 数据源的白名单
进入云服务器 ECS 控制台的 安全组 页面，在 创建安全组 右侧的下拉列表中选择 专有网络 ID，粘贴 VPC ID 筛选安全组。单击目标安全组的名称，进入详情页面。在 入方向 快速添加 IP 地址。复制 OMS 控制台 添加数据源 对话框中显示的 ...
规格及选型
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
机器监控
您在 异常统计数据 区域查看到异常数据后，可在应用本地日志中查看异常记录。说明 控制台查看以秒为单位的异常统计情况，异常详细内容您可以在本地异常记录文件中查看。异常记录的文件地址：与 metrics.log 同个目录。异常记录的文件名称：...
结束数据迁移任务
对于需要停止或迁移失败（不再需要）的任务，您可以结束数据迁移任务，避免源数据库的数据覆盖写入至目标数据库中。前提条件 数据迁移任务处于 迁移中、已暂停、迁移失败 状态。影响 结束数据迁移任务后，数据迁移任务将处于 已完成 状态，...
修改数据库密码
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。根据实例类型，在左侧导航栏单击 数据迁移、数据同步 或 数据订阅。在页面顶部选择实例所属地域。找到目标实例，单击实例ID。根据...
MaxCompute数据迁移至OSS
本文为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS（Object Storage Service）。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程...
MaxCompute数据迁移至OTS
order":{"hops":[{"from":"Reader","to":"Writer"}]},"setting":{"errorLimit":{"record":"0"},"speed":{"throttle":false,"concurrent":1,"dmu":1 } } } 在表格存储控制台中查看新增的表数据。登录 表格存储控制台。在左侧导航栏上，单击...
独享数据集成资源组
数据源处于经典网络中 独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置 如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...
添加ClickHouse数据源
可进入 云数据库ClickHouse控制台，在 集群列表>基本信息>网络类型 中获取。VPC实例ID VPC下数据库实例的ID，可在 云数据库ClickHouse控制台 的实例基本信息页面获取。说明 通常您可以直接在数据库产品的控制台查看数据库实例的VPC实例ID。...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
查看与减少数据备份
本文介绍如何在DBS中查看备份数据大小，同时提供减少备份的方法。查看备份大小 备份大小=全量数据备份的大小+增量数据备份的大小 登录 DBS控制台。单击左侧导航栏中的 备份计划，然后在上方选择目标地域。单击目标备份计划名称，进入 备份...
- 产品推荐
- 这些文档可能帮助您