创建并使用MaxCompute表

进入数据开发(DataStudio)登录 DataWorks控制台,单击左侧导航栏 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建MaxCompute表 您可在DataWorks表管理目录中新建,也可在具体业务流程下,针对该业务...

创建手动任务

您可以在DataWorks的数据开发(DataStudio)模块创建手动任务,并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务,并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎,您可选择 新建临时...

操作流程

通过操作流程图及说明,您可以直观且全局了解数据开发的任务流程。本文从节点任务和场景任务两个使用场景来介绍数据开发的任务操作流程。节点模式操作流程 节点模式主要适用于计算节点相对独立,整个流程由单个节点组成的这类简单数据处理...

操作流程

通过操作流程图及说明,您可以直观且全局了解数据开发的任务流程。本文从节点任务和场景任务两个使用场景来介绍数据开发的任务操作流程。节点模式操作流程 节点模式主要适用于计算节点相对独立,整个流程由单个节点组成的这类简单数据处理...

数据使用诊断

DataWorks的数据使用诊断,为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力,以及诊断相关安全问题的最佳实践及解决方案,帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...

基于模型生成ETL代码

维度表、明细表、汇总表等模型表发布后,DataWorks智能数据建模的模型开发功能支持快速生成代码框架,帮助您提高后续数据开发效率。本文为您介绍如何通过模型开发功能生成代码框架。前提条件 模型表已发布,操作详情请参见 发布模型至引擎...

流程管控

DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...

HoloStudio(即将下线)

为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为了便于新用户快速了解DataWorks的数据开发治理操作全流程,DataWorks为您提供了...

DataWorks HoloStudio下线公告

为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...

运行历史

查看运行历史 登录DataWorks控制台,单击相应工作空间后 数据开发。单击左侧导航栏中的 运行历史,切换至运行历史面板(默认展示全部状态)。从状态列表中,选择需要查看的相关状态的任务。单击需要查看的运行记录,即可在右侧查看运行...

应用示例:数据开发过程触发事件检查

DataWorks的数据开发模块,支持扩展点事件包括文件发布前置事件、文件提交前置事件、表提交前置事件等。扩展点事件的概念和详细列表请参见 支持的扩展点事件列表。DataWorks支持对扩展点事件进行消息通知,通过扩展程序来自动化校验并响应...

云产品集成

请参见:什么是DataWorks 数据源概述 支持的数据源及同步方案 ApsaraDB For OceanBase数据源 实时计算 Flink 版 实时计算 Flink 版是阿里云提供的全托管 Serverless Flink 云服务,具备实时应用的作业开发、数据调试、运行与监控、自动调优...

用户价值

数据运营更高效:遵循应用先行、以用带存、由存而通、因通促用的理念,实现城市数据运营,驱动客户业务创新。用户角色 功能 能力 详述 数据生产方 数据开发 设计数据模型 开发数据加工逻辑 设计标准、稳定的数据模型:通过数据标准和数据...

DataWorks各版本详解

专业版 基于DataWorks标准版,增加更专业的数据安全功能,同时增强数据治理、数据服务的功能,完善的数据开发与运维功能,提供产品化的数据治理、数据安全解决方案。此版本适合中小型企业使用。企业版 基于DataWorks专业版,在该版本上您...

新功能发布记录

2023-08-31 组件配置项的数据源 文字 矩形 指示灯 图片 重复列表 设备数据源 复合组件 Web可视化开发 功能名称 功能描述 发布时间 相关文档 基础组件 文字、矩形、指示灯和图片组件优化:支持根据设备物模型属性设置组件可见性和组件内容...

什么数据管理DMS

数据集成:支持常见数据源的实时、离线数据集成,数据集成过程中支持灵活自定义数据的处理逻辑,帮助解决企业数据孤岛的痛点。简单易用:提供覆盖数据全生命周期的数据流转及处理能力。通过提供图形化、向导式的开发模式,智能预警及自主...

简介

数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能,提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息,以文档的形式进行交付,并在交付后,希望有可以替您...

创建RocketMQ数据

若您的数据源配置选择 生产+开发数据源,则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源,仅需配置 生产数据源 的连接信息。说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产...

常见问题

对于内部表,所有的数据都存储在MaxCompute中,表中列的数据类型可以是MaxCompute支持的任意一种数据类型。对于外部表,MaxCompute并不真正持有数据,表格的数据可以存放在OSS或OTS中。MaxCompute仅会记录表格的Meta信息,您可以通过...

阶段一:基础防护建设

在该阶段,DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践,帮助企业做好数据安全治理的相关基础防护工作。场景一:数据分级分类 无论在任何行业,数据分级分类都是监管首要检查的...

资产安全概述

密切结合生产开发场景:在开发生产过程中,资产安全与数据流转场景紧密结合,保障在Dataphin数据开发周期中的数据安全。相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定,用于对数据的敏感等级进行...

常见问题

问题类别 常见问题 开通MaxCompute DataWorks与MaxCompute的区别是什么?如何区分DataWorks工作空间和MaxCompute项目?开通MaxCompute服务时,如何根据本身数据存储量以及计算任务评估开通哪些产品规格?创建MaxCompute项目 创建MaxCompute...

创建MongoDB数据

数据源配置 选择需要配置的数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类打标,如何创建标签,请参见 ...

移动分析简介

MAS 通过统计和分析客户端流量、性能质量和用户行为等数据用数据实现产品、运营、推广的决策;通过对闪退的分析,快速定位闪退原因,提高程序稳定性。组件原理 MAS 涉及的相关组件介绍如下:mdap:日志采集网关,负责收集客户端埋点日志...

创建OceanBase数据

若您的数据源配置选择 生产+开发数据源,则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源,仅需配置 生产数据源 的连接信息。说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产...

创建MaxCompute数据

若您的数据源配置选择 生产+开发数据源,则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源,仅需配置 生产数据源 的连接信息。说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产...

数据开发常见问题

本文为您介绍数据开发相关的常见问题。任务开发常见问题 引擎基于DataWorks操作的常见问题 表相关 如何可视化新建表?为什么EMR通过DataWorks可视化建表失败报错:call emr exception?如何对生产表添加字段?如何将本地数据上传到...

创建Log Service数据

在引入Log Service的业务数据至Dataphin中进行数据开发的场景中,您需要先创建Log Service数据源。本文为您介绍如何创建Log Service类型的数据源。背景信息 Log Service即阿里云日志服务,如果您使用的是阿里云日志服务,在对接Dataphin...

安全中心

因为您的申请单中包含的数据表的表Owner不同,安全中心会按照表Owner对于申请单自动进行拆分。为什么有的字段只申请1个月权限,审批完成后查看变为永久?说明字段的安全等级为0或者小于等于您账号的安全等级。为什么有的表和字段没有申请...

创建Aliyun HBase数据

数据源配置 选择需要配置的数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类打标,如何创建标签,请参见 ...

创建OSS数据

如果您使用的是阿里云对象存储OSS,在对接Dataphin进行数据开发或将Dataphin的数据写入至OSS时,您需要先完成OSS数据源的创建。更多OSS信息,请参见 什么是对象存储OSS。权限说明 Dataphin仅支持超级管理员、数据源管理员、板块架构师、...

创建Tablestore数据

如果您使用的是阿里云Tablestore,在对接Dataphin进行数据开发或将Dataphin的数据写入至Tablestore的场景中,您需要先完成Tablestore数据源的创建。更多信息,请参见 什么是表格存储。权限说明 仅支持 超级管理员、数据源管理员、板块架构...

新建Amazon S3数据

如果您使用的是Amazon S3,在对接Dataphin进行数据开发或将Dataphin的数据写入至Amazon S3时,您需要先完成Amazon S3数据源的创建。更多Amazon S3信息,请参见 什么是Amazon S3。权限说明 仅支持具备新建数据源权限的账号进行新建。更多...

新建AnalyticDB for MySQL 3.0数据

若您的数据源配置选择 生产+开发数据源,则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源,仅需配置 生产数据源 的连接信息。说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产...

创建Elasticsearch数据

数据源配置 选择需要配置的数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类打标,如何创建标签,请参见 ...

敏感数据保护

生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因,需要将生产环境的数据写入开发环境时,为了保护敏感数据不泄露,数据在写入的过程中,就会自动按照配置的脱敏规则脱敏,从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...

创建PolarDB-X数据

若您的数据源配置选择 生产+开发数据源,则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源,仅需配置 生产数据源 的连接信息。说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产...

创建PolarDB数据

若您的数据源配置选择 生产+开发数据源,则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源,仅需配置 生产数据源 的连接信息。说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产...

创建Hologres数据

若您的数据源配置选择 生产+开发数据源,则需配置 生产+开发数据源 的连接信息。如果您的数据源配置为 生产数据源,仅需配置 生产数据源 的连接信息。说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 Redis 版 云数据库 RDS 数据传输服务 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用