配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
计费规则
0.00 0.00 10 万~1000 万 2.40 6.00 1000 万~1 亿 1.92 4.80 1 亿以上 1.54 3.84 计费示例 以公共云用户的简单任务调度月费用计算为例：若月活 500 万次，则月费用=10*0.00+490*1.60=784 元。若月活 5000 万次，则月费用=10*0.00+990*1.60+...
可选：运维SQL分析任务
前提条件 已配置并发布SQL分析任务，具体操作，请参见 步骤三：设置任务调度策略并发布。背景信息 SQL分析任务的更多信息，请参见 SQL分析概述。管理SQL分析任务 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例 ID 或备注名称...
什么是基因分析平台？
基因计算任务 用户运行WDL分析应用，指定OSS输入文件和运行参数后，产生的分析任务将由平台自动执行，直至完成。平台运行任务具备智能调度、错误重试、中断恢复等流程执行管理功能，并提供计算作业执行过程中的状态查询、性能监控、日志...
PAI灵骏智算服务概述
PAI灵骏 是一种大规模高密度计算服务，全称“PAI灵骏智算服务”，提供高性能AI训练、高性能计算所需的异构计算算力服务。PAI灵骏 主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动...
E-HPC集群调度器插件
当您的业务需要迁移到云上时，往往需要将云下的调度器集成至云上，但因HPC行业调度器众多，且不同调度器有多种定制版本，会出现E-HPC内置调度器无法满足的情况。因此，E-HPC提供了调度器插件作为平台的外扩组件，您可以使用E-HPC提供的调度...
新功能发布记录
2024-02-08 华北2（北京）可用区I 构建TDX机密计算环境 云助手支持修改任务执行信息 当已创建的任务不满足您的业务需求时，您可以根据需要修改任务的执行信息，包括命令内容、定时执行方式、添加ECS实例或托管实例到任务。2024-02-02 全部 ...
环境准备
完成绑定引擎后，后续您才可以创建对应引擎的DataWorks数据开发节点，开发并运行对应引擎的计算任务。权限规划（可选）本实验中使用主账号进行操作，是最大权限。您在实际使用DataWorks过程中，可以参考以下文档进行账号权限管控：...
云原生AI套件概述
Fluid支持将多个不同类型的存储服务作为数据源聚合到同一个Dataset中使用，还可以接入不同位置的存储服务实现混合云环境下的数据管理与访问加速。此外，Fluid可扩展兼容多种分布式缓存服务，为每个Dataset配置缓存服务，还提供数据集预热、...
新建开发环境场景并运行
前提条件 已创建相关的云计算资源，具体操作，请参见 新建云计算资源。背景信息 节点流程定义了一段处理逻辑，通过有向无环图DAG（Directed Acyclic Graph）描述。节点流程中所有节点的输入、输出数据都是具体的数据表、文件、数据流。步骤...
创建并使用PAI DLC节点
步骤三：配置任务调度 如您需周期性执行创建的节点任务，可单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息。配置详情请参见 任务调度属性配置概述。说明 您需设置节点的 重跑属性 和 依赖的上游节点，才可提交...
基本概念
任务运维 任务流：由数据同步节点、离线计算任务节点、流式计算任务节点、自定义计算节点等组成的数据加工或算法服务工作流。业务类型：提交任务流的来源，包括数据同步、数据开发、标签加工、标签同步等。任务类型：提交任务流的来源，...
操作系统Alibaba Cloud Linux 2（停止维护）
AI和数据加速优化 Alibaba Cloud Linux 2对大规格机型和多任务的优化可以提升高性能计算任务的速度，对存储的流式读写的优化也可以提高模型大文件的读写性能，综合起来大大加速AI和高性能计算任务的效率。实际测试场景如下：通过Alluxio...
创建并管理工作空间
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
EMR Studio概述
EMR Studio已与阿里云云监控服务集成，您可以在云监控中灵活配置任务调度监控，保障开发环境稳定。节省成本 您可以根据任务负载灵活变更EMR Studio的硬件资源，压缩调度资源成本。EMR Studio支持使用集群模板功能，您可以设置EMR Studio...
服务初始化
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
ACK集群概述
调度：支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源的利用率。多集群管理：支持线下IDC和多云多区域的集群统一接入实现混合云应用管理。授权管理：支持RAM授权和RBAC权限管理。...
技术原理
为了加速复杂分析型查询，PolarDB-X将计算任务切分并调度到多个计算节点上，从而利用多个节点的计算能力，加速查询的执行。这种方式也称为MPP并行计算。PolarDB-X的优化器面向HTAP负载设计，对复杂查询有着良好的支持。PolarDB-X采用了基于...
历史功能发布记录（2023年）
全部 通过ACK Serverless创建Spark计算任务 ack-kube-queue组件发布v0.1.12版本 支持对单个队列设置阻塞策略 ack-kube-queue支持阻塞队列功能，开启后队列将重复尝试调度位于队头的任务，直到队头的任务出队。在队头的任务出队前，不会尝试...
实践教程概览
混合云渲染最佳实践 以Deadline软件为例，介绍在混合云环境下如何通过E-HPC及其文件缓存机制，借助云上弹性资源，构建云上云下一体化的高性能、高可靠性和可扩展的渲染服务。集群配置 实践教程 主要内容 使用E-HPC集群调度器插件 E-HPC提供...
数据面安全性
计算节点安全性保障 计算节点负责执行用户函数代码，函数计算 使用神龙裸金属及ECS虚拟机两种类型的计算节点，如下图所示。本节由外向内分别阐述各层的安全措施。计算节点层提供阿里云标准的安全防护能力 计算节点提供以下阿里云标准的安全...
数据面安全性
计算节点安全性保障 计算节点负责执行用户函数代码，函数计算 使用神龙裸金属及ECS虚拟机两种类型的计算节点，如下图所示。本节由外向内分别阐述各层的安全措施。计算节点层提供阿里云标准的安全防护能力 计算节点提供以下阿里云标准的安全...
基本概念
容器训练（DLC）快速将训练任务提交到当前工作空间关联的计算资源（例如通用计算资源）中，提交后的任务详情可以在PAI任务管理模块中查看。模型在线服务（EAS）支持大规模复杂模型的一键部署功能，实时弹性扩缩容，并提供完整的运维监控...
功能发布记录
扩容云桌面的云盘容量 当云桌面的云盘使用空间不足时，您可以按需扩容一台云桌面的云盘，也可以批量扩容多台云桌面的容量。变配云桌面规格 扩容云盘容量 2023年1月 功能名称 功能描述 相关文档/操作 管理登录 支持启用并设置客户端超时自动...
控制台总览
您可以在任务调度产品控制台总览页面查看所有任务的动态和统计信息。任务统计 显示当前环境中已存在的各类任务数量统计：任务总数：当前环境中已配置的任务总数，包括简单任务、集群任务。将鼠标悬浮在图标上方以查看每个任务类型的数量...
文档更新动态（2022年）
更新说明 管理计算任务 2022年10月25日 开源Flink引擎优化 开源Flink引擎下支持自定义实时连接器、Flink 1.14引擎版本下支持MySQL、PostgreSQL的CDC connector。更新说明 创建Flink SQL任务 2022年10月25日 新增智能运维 新增智能运维增值...
节点组
节点组用于对依赖计算资源的算法节点进行组合，组合的算法节点在部署和运行时会被打包在一起进行调度。本文介绍节点组的配置参数说明。节点属性 节点属性 关键参数说明如下：配置项 说明 节点组名称 节点组的名称。节点组标识 节点组的唯一...
2023年
数据科学计算概述 2023-10-27 新增MaxFrame概述 新说明 MaxFrame是由阿里云自研的分布式计算框架，提供了一套兼容MaxCompute计算资源及数据接口的Python生态环境。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。MaxFrame概述 2023-10...
查看并管理周期任务
您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务运维操作说明详情请参见：周期任务基本运维操作。...
节点组
节点组用于对依赖计算资源的算法节点进行组合，组合的算法节点在部署和运行时会被打包在一起进行调度。本文介绍节点组的配置参数说明。节点属性 节点属性 关键参数说明如下：配置项 说明 节点组名称 节点组的名称。节点组标识 节点组的唯一...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
公告
计算成本优化功能在原计算资源优化功能（对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案）的基础上增加支持查看使用 按量付费计算资源 调整为使用 包年包月计算资源 的资源配置推荐方案及效果推演，帮助您进一步优化计算成本...
注册集群概述
混合云计算弹性：ACK注册集群可以帮助您为自建Kubernetes集群弹性扩容云上计算虚拟机、物理机和无服务器化资源，通过协同调度器可以支持灵活的扩容缩容调度策略，实现IDC资源和云上计算资源的逐级扩容和按需缩容，多副本容器组按比例分布在...
使用产品前的准备工作
本文为您介绍了使用...标签检索 ElasticSearch 检索分析服务 以图搜图/语义检索 Lindorm 云原生多模数据库 自定义算子 将自研的算法镜像上传到平台，参与计算任务 ACR 代码仓库 1)添加ACK集群 2)添加ElasticSearch 3)添加Lindorm 4)添加ACR
DataWorks资源组概述
访问复杂环境的需求：当需要访问复杂网络环境下的数据库时，请选择包年包月独享数据集成资源组。关于网络解决方案详情请参见：配置资源组与网络连通。实时同步需求：当进行数据实时同步时，您需要使用独享数据集成资源组。自定义数据源资源...
什么是集群极速部署工具FastGPU
FastGPU介绍 FastGPU作为衔接您的线下人工智能算法和线上阿里云海量GPU计算资源的关键一环，方便您将人工智能计算任务构建在阿里云的IaaS资源上。使用FastGPU构建人工智能计算任务时，您无需关心IaaS层的计算、存储、网络等资源部署操作，...
数据开发概述
任务调度 触发方式：支持外部系统触发、事件触发、以及通过内部血缘解析上游触发任务调度运行。依赖类型：支持设置同周期与跨周期依赖，以及多种调度周期、不同类型任务的相互依赖。执行控制：支持设置任务是否重跑；支持通过上游任务控制...
周期性调度作业概述
任务调度的调度资源费用：任务开发完成后，进行任务调度时需使用调度资源。您需按需购买调度资源组（例如，包年包月的独享调度资源组、按量付费的公共调度资源组），支付相应的资源组费用。数据同步的同步资源费用：运行数据同步任务时，除...
创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
- 产品推荐
- 这些文档可能帮助您