创建工作空间
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
新建云计算资源
适用环境（条件必选）当工作组为 专业模式 时，可设置云计算资源的使用环境，分为开发和生产环境，对生产环境的数据读写权限、任务上线发布进行严格权限控制。云计算资源创建后，云计算资源标识自动添加后缀：_dev（开发）、_prod（生产）...
持续架构优化
以容器为代表的云原生技术作为云计算的服务新界面加速云计算普及的同时，也在推动着整个商业世界飞速演进。通过云原生化改造，企业可以充分利用云的强大能力，从云原生架构中获得更高的系统可用性与可扩展能力，利用云提升发布和运维的效率...
计费逻辑说明
资源费用明细：数据集成 任务调度 在DataWorks进行数据开发、定时任务调度时会占用一定的调度资源，DataWorks将根据运行成功的任务实例数量计费。您可选择包年包月的独享调度资源组，或按量付费的公共调度资源组运行任务。资源费用明细：...
场景：切换调度时区
在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。同时，还支持您切换工作空间的调度时区，本文为您介绍如何切换调度时区。背景...
对接使用CDH与CDP
以下简称 CDH）与CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，在保留CDH集群或CDP集群作为存储和计算引擎的前提下，您可以使用DataWorks的任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理功能...
什么是边缘智能一体机（执行计划版本）
系统架构 边缘智能一体机（执行任务版）采用云边协同架构，包含AIOT边缘计算、视频管理、AI算法等多种优质服务。基础设施包括部署在社区或园区的高清摄像头网络和本地AI BOX服务器以及阿里云基础计算资源。执行计划对摄像头进行轮循算法...
周期任务基本运维操作
查看周期任务 周期任务列表中为您展示生产环境下调度系统按照调度配置自动定时运行的任务，您可以检查任务代码、调度参数、调度依赖、节点血缘等是否符合预期。同时，支持您通过列表及DAG图的方式，快速查看任务的详细信息并执行相关操作。...
三星堆大型沉浸式数字交互空间最佳实践
项目介绍 项目背景《三星堆奇幻之旅》是中央广播电视总台联合四川省文物考古研究院、三星堆遗址考古发掘队、三星堆博物馆、北京大学、四川大学、上海大学、北京理工大学数字表演实验室、阿里云计算有限公司、城市生活信息有限公司等单位...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
ACK One概述
分布式云容器平台 ACK One（Distributed Cloud Container Platform for Kubernetes）是阿里云面向混合云、多集群、分布式计算、容灾等场景推出的企业级云原生平台。ACK One 可以连接并管理您任何地域、任何基础设施上的Kubernetes集群，并...
DataWorks On CDP/CDH使用说明
任务调度的调度资源费用 任务开发完成后，进行任务调度时需使用调度资源。您需按需购买调度资源组（例如，包年包月的独享调度资源组、按量付费的公共调度资源组），支付相应的资源组费用。数据同步的同步资源费用 运行数据同步任务时，除...
创建Hologres数据源
使用限制 仅当Hologres实例和DataWorks工作空间同地域、属于同一阿里云主账号，且数据源未开启SSL认证时，基于该实例创建的Hologres数据源才可被绑定为计算引擎，即此类数据源才可在DataWorks的数据开发、运维中心页面中执行对应计算任务。...
操作流程
部署/运行开发场景 将编排好的流程部署到对应的云计算资源上，然后运行验证流程的正确性。具体操作，请参见 步骤五：部署开发场景 和 步骤六：运行开发场景。查看运维信息 当部署运行失败时，可以查看运维信息，定位失败原因，并根据失败...
创建AnalyticDB for PostgreSQL数据源
AnalyticDB for PostgreSQL数据源创建完成后，可用于进行数据同步、计算任务开发与调度、生成API提供数据服务等应用场景，各场景需分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需根据应用场景提前准备对应的资源组...
什么是容器服务灵骏版
阿里云 容器服务灵骏版 是容器服务Kubernetes版（ACK）针对智能计算灵骏提供的集群类型，提供全托管和高可用控制面的标准Kubernetes集群服务，支持以灵骏计算节点作为Kubernetes集群的工作节点。本文介绍阿里云ACK灵骏托管版集群的产品简介...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，...
计算资源
计算资源常指用于执行计算任务的软硬件资源，包括CPU、GPU、内存、操作系统和特定计算任务的软硬件环境等。计算资源的主要作用是执行各种计算任务，包括数据处理、算法运算、业务逻辑执行等。计算资源的性能和容量直接影响到系统的计算能力...
基本概念
提交（Submit）提交是指开发的节点任务、业务流程，从DataWorks开发环境发布至调度系统的过程。完成提交后，相应的代码、调度配置全部合并至调度系统中，调度系统根据相关配置进行调度操作。说明 未提交的节点任务、业务流程不会进入调度...
创建AnalyticDB for MySQL3.0数据源
AnalyticDB for MySQL3.0数据源创建完成后，可用于进行数据同步、计算任务开发与调度、生成API提供数据服务等应用场景，各场景需分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需根据应用场景提前准备对应的资源组并...
创建MaxCompute数据源
MaxCompute数据源创建完成后，可用于进行数据同步、计算任务开发与调度、生成API提供数据服务等应用场景，各场景需分别使用DataWorks的数据集成资源组、调度资源组、数据服务资源组。您需根据应用场景提前准备对应的资源组并完成配置，在...
操作流程
部署/运行开发场景 将编排好的流程部署到对应的云计算资源上，然后运行验证流程的正确性。具体操作，请参见 步骤五：部署开发场景 和 步骤六：运行开发场景。查看运维信息 当部署运行失败时，可以查看运维信息，定位失败原因，并根据失败...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
在DataWorks中通过函数计算节点实现动态为PDF添加水印
本文为您介绍如何在DataWorks中通过函数计算节点调用函数计算服务，实现周期性对OSS中的增量PDF文件添加水印。背景介绍 DataWorks当前已经支持通过函数计算节点调用函数计算服务，在函数计算服务中可以自定义各种功能，最终可通过DataWorks...
新建IMPALA_SQL任务
本文为您介绍如何基于Dataphin新建IMPALA_SQL类型的离线计算任务。前提条件 创建IMPALA_SQL任务需在Hadoop计算源中开启Impala任务。具体操作，请参见 创建Hadoop计算源。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 ...
功能简介
生产节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期参数、输入参数、输出参数等详细信息以及运行信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的...
数据开发
生产环境节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期入、输出等详细信息以及部署信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的混合编排组成的...
功能简介
生产节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期参数、输入参数、输出参数等详细信息以及运行信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的...
什么是云渲染GCS
GCS支持应用自动部署与资源灵活调度，提供高性价比图形计算运行环境与大规模即时云渲染能力。云渲染GCS的产品架构如下图所示。应用场景 云渲染GCS主要面向需要GPU资源的业务，尤其适用于使用时长较短或用量变化频繁的业务。其主要应用场景...
周期性调度
步骤三：配置任务调度 单击节点编辑区域右侧的 调度配置，在 调度配置 面板中，包含 基础属性、参数、时间属性、资源属性 和 调度依赖 等配置项。您可以在 时间属性 区域配置调度周期，后续DataWorks会根据配置的调度周期自动调度运行节点...
使用须知
调度资源管理 调度资源 即DataWorks上的调度资源，调度资源用于执行或分发调度系统下发的任务。DataWorks的调度资源分为如下两种模式，详情请参见 查看资源组列表。默认调度资源。指DataWorks的公共资源池。当DataWorks节点并发量很高，...
创建通用项目
项目是Dataphin的基本组织单元，是进行多用户隔离...说明 Dev环境下的实例状态会默认从“未运行”变更为“暂停”。单击 确定，即可完成项目创建。后续步骤 创建完项目后，即可进入数据研发模块进行数据开发。更多信息，请参见 数据开发概述。
创建通用项目
项目是Dataphin的基本组织单元，是进行多用户隔离...说明 Dev环境下的实例状态会默认从“未运行”变更为“暂停”。单击 确定，即可完成项目创建。后续步骤 创建完项目后，即可进入数据研发模块进行数据开发。更多信息，请参见 数据开发概述。
DataWorks节点合集
类型 描述 数据集成同步类节点 DataWorks数据集成支持复杂网络环境下的数据同步，并提供用于离线（批量）数据周期性同步的离线同步节点，与用于单表或整库增量数据实时同步的实时同步节点。该节点可在数据开发（DataStudio）界面直接创建。...
术语表
fuxi（伏羲）伏羲是飞天平台内核中负责资源管理和任务调度的模块，同时也为应用开发提供了一套编程基础框架。MaxCompute的底层任务调度模块为fuxi的调度模块。I Instance（实例）即实际运行作业的一个具体实例，类同Hadoop中Job的概念。...
安全算法
说明 若是使用计算引擎的自带函数，则无需安装算法包（如：AnalyticDB for PostgreSQL项目和云上Hologres项目）。选择算法：根据需求场景选择算法，对敏感数据的查看进行脱敏，可选遮盖脱敏或哈希脱敏算法，对数据进行加密存储和传输，后续...
安全算法
说明 若是使用计算引擎的自带函数，则无需安装算法包（如：AnalyticDB for PostgreSQL项目和云上Hologres项目）。选择算法：根据需求场景选择算法，对敏感数据的查看进行脱敏，可选遮盖脱敏或哈希脱敏算法，对数据进行加密存储和传输，后续...
新建HIVE_SQL任务
本文为您介绍如何基于Dataphin构建HIVE_SQL类型的离线计算任务。背景信息 HIVE_SQL计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。...
数据开发：开发者
DataWorks提供内置参数及相关自定义参数，可供任务调度时实现参数动态赋值。若步骤四编辑代码时定义了变量，您可在此处对该变量进行赋值。本文示例为步骤四的如下变量赋值，用于将 bank_data 表中业务时间（即昨天）对应的小时数据写入 ...
产品优势
相较于其他HPC集群，阿里云弹性高性能计算E-HPC产品具有灵活部署、弹性资源、数据安全、高可用性、结果可视等特点。弹性高性能计算E-HPC的优势 灵活部署 您可以在E-HPC控制台快速创建高性能计算集群。一键部署需要的高性能计算环境和应用...
- 产品推荐
- 这些文档可能帮助您