什么是DataWorks
典型客户 国家电网大数据中心：通过DataWorks实现总部+27家省（市）公司PB级数据的统一管理，通过全链路数据中台的治理与监测运营体系，加快电网整体数字化转型升级。世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型...
安全中心
DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限...
运维中心
运维中心是一站式大数据运维监控平台，支持实时查看任务运行状态，提供智能诊断、重跑等运维操作，帮助您对异常任务进行基础运维；提供智能基线，帮助您解决重要任务产出时间不可控，海量任务监控难的问题，保障任务产出的时效性；提供引擎...
DataWorks模块使用说明
运维中心 运维中心 的大数据运维与监控系统具备以下功能。实时任务监控：支持实时查看任务运行状态，确保及时掌握数据处理进度。智能运维操作：为异常任务提供智能诊断、重跑等操作，简化故障恢复流程。智能基线管理：提供智能基线功能，...
文档更新动态（2024年）
新增 数据标准模板库 资产治理-元数据中心 新增大数据存储采集源，包括StarRocks、Hive（MySQL元数据库）、Hologres。更新 元数据采集概览 创建及管理元数据采集任务 管理业务系统元数据 资产运营-目录管理手动/自动上架资产 支持 在上架表...
审批中心
DataWorks审批中心是一个用于管理数据授权、敏感行为管控流程的功能模块，包含审批范围定义、审批流程定义等核心功能，满足不同企业在不同内部合规场景下的审批要求。功能介绍 在DataWorks上进行数据开发管理的过程中，您可以便捷地对表...
管理中心功能概览
在DataWorks的 管理中心，用户可以按照 工作空间维度 进行操作，包括配置工作空间的基本设施、选择合适的计算引擎、接入不同的数据源、注册开源集群、配置扩展程序，以及管理工作空间成员的权限和角色；此外，用户还可以在 全局维度 进行...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
安全中心
目前安全中心和数据管理中的申请或审批记录没有进行关联，如果需要查看在数据管理进行申请或审批的历史记录，请跳转至 数据管理 页面进行查看。是否可以通过安全中心的申请记录来回收权限？目前安全中心并非唯一的授权渠道，为了最大程度地...
文档更新动态（2023年）
更新说明 新建FLINK_SQL任务 创建PolarDB数据源 创建MySQL数据源 创建SAP HANA数据源 管理中心-数据源管理 Protocol类型为SFTP的FTP数据源，支持 用户名+密钥文件 作为认证方式。新增Salesforce数据源，支持通过离线集成抽取数据。OSS数据...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
API概览
本产品（大数据开发治理平台 DataWorks/2020-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
DescribeRules-查询识别规则的列表
调用本接口查询敏感数据识别规则的列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。进入管理中心。在左侧导航栏单击 ...
其他问题
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...
共享模式支持的功能
不支持 支持 支持 文件名规范 支持 支持 支持 支持 管理中心 跨租户发布 支持 不支持 支持 支持 我的 个人中心 支持（不支持资源统计大盘）支持（不支持资源统计大盘）支持（不支持资源统计大盘）支持（不支持资源统计大盘）个人数据中心 ...
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？...为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？
运维中心入门
您可在运维中心查看发布至生产环境的任务，并执行测试、补数据等相关运维操作。本文以周期调度任务的运维为例，通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则，保障任务后续可以正常调度，...
大数据专家服务
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
DataWorks跨项目克隆一键迁移至发布中心
在跨项目克隆下线之前，平台将按照默认迁移逻辑为您迁移跨项目克隆历史数据至发布中心。具体时间节点，请参见 DataWorks跨项目克隆下线公告。默认迁移逻辑 默认迁移环境逻辑 DataWorks将会依据您原跨项目克隆计算引擎映射自动生成源空间至...
解决方案与客户案例
流量有效隔离 异地多活本质上是提供了一种自顶向下的流量隔离能力，业务具备在数据中心级别完全隔离的能力，各个数据中心承载的流量大小可灵活调配，在最小隔离数据中心内（例如承载1%流量），业务可灵活进行风险可控的技术演进，例如基础...
解决方案与客户案例
流量有效隔离：异地多活本质上是提供了一种自顶向下的流量隔离能力，业务具备在数据中心级别完全隔离的能力，各个数据中心承载的流量大小可灵活调配，在最小隔离数据中心内（例如承载1%流量），业务可灵活进行风险可控的技术演进，例如基础...
ListShiftSchedules-获取运维中心值班表列表
1 PageSize integer 每页显示的条数 10 TotalCount integer 数据量总数 100 ShiftSchedules array object 值班表列表数据 ShiftSchedules object 值班表 ShiftScheduleIdentifier string 值班表唯一标识，可用来查询值班表值班人员列表 2ab...
应用示例：运维中心触发事件检查
运维中心-下线节点 运维中心-补数据 相关文档 启用扩展程序，详情请参见：测试应用扩展程序。运维中心更多扩展点事件，详情请参见：支持的扩展点事件列表。补数据事件的消息实体格式，详情请参见：补数据操作事件。节点变更事件的消息实体...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
组件操作
Presto概述 通过命令行方式访问Presto 通过JDBC方式访问Presto Tez Apache Tez是一个面向大数据处理的分布式框架，提供高效、灵活的DAG（有向无环图）执行模型，主要用于替代MapReduce来优化查询和批处理任务的性能。Tez Phoenix Phoenix是...
自动运维
进入自动运维 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与治理 运维中心，在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏，选择 运维助手 自动运维，进入自动运维页面。运维规则管理 自动运维...
应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
控制台概览
DataV-Atlas（分析地图）由数据中心、我的项目和开放中心组成。本文简要介绍了DataV-Atlas的功能组成，让您快速了解界面布局。数据中心 数据中心是DataV-Atlas的主入口，包含内置数据、上传数据、数据源管理、查看数据表和地图、新建项目等...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
什么是EMR on ECS
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
流程简介
数据探索主要包括首页、数据中心、算子中心、模型中心、任务中心等功能。本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。数据探索的流程说明如下表所示。流程 说明 首页 提供新手引导及用户登录、模型情况的运行...
大数据安全治理的难点
同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理难点。数据安全治理的关键问题 数据安全治理能否清楚、准确地回答如下问题，将从侧面反映安全治理项目是否能有效地落地。哪些资产需要被保护？您有...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
安装Agent
2022 with Container 数据中心版 64位中文版 支持 支持 2022 with Container 数据中心版 64位英文版 支持 支持 2019 数据中心版 64位中文版 支持 支持 2019 数据中心版 64位英文版 支持 支持 2019 with Container 数据中心版 64位中文版 ...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
- 产品推荐
- 这些文档可能帮助您