DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
多终端节点组流量调配原理及应用场景
全球加速基于网络时延（主要依赖于地理位置和网络链路情况）得出调度优先级。一般来说，接入点到每个终端节点组地域的地理位置越近，网络链路越短，调度优先级越高。访问流量会被优先调度至离接入点最近的终端节点组。说明 为各终端节点组...
使用公共资源组
开通DataWorks时，DataWorks自动为您提供公共资源组（包括公共调度资源组、公共数据集成（调试）资源组、公共数据服务资源组），可用于数据开发、运行测试等操作。公共资源组被多个租户共享，高峰期租户间可能会存在抢占资源的情况。本文为...
产品简介
移动调度中心（Mobile Dispatch Center，MDC）是基于客户端用户业务属性进行用户分组的精细化移动调度服务产品，能快速有效帮助客户达成业务分组灰度测试、A/B 测试、故障调优等目标。产品优势 移动调度中心的产品优势如下：用户级精准调度...
Data Lake Analytics节点
配置资源属性时，请选择调度资源组为已经和Data Lake Analytics网络连通的独享调度资源组，作为周期调度时使用的资源组。保存并提交节点。重要 您需要设置节点的 重跑属性 和 依赖的上游节点，才可以提交节点。单击工具栏中的 图标，保存...
VPC 问题
VPC 网络：在 VPC 网络模式下，整个网络被划分成一个个彼此隔离的专有网络（VPC 网络），各个网络中机器可以相互访问，VPC 之间相互隔离，更加安全，要想打通 VPC 之间的网络，需要使用阿里云提供的反向 VPC 服务。如何查看当前的 VPC 信息...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
创建并管理实例
操作 描述 导出实例 您可以单击 导出实例信息，文件内容包含全部实例的实例ID、实例名称、节点、规格、CPU、内存（G）、操作系统、镜像ID、公网IP、私网IP、公网IP集合（新）、私网IP集合（新）、状态、到期时间。筛选实例 您可以根据实例...
开发PyODPS 3任务
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
开发PyODPS 2任务
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
开发PyODPS 3任务
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
在PyODPS节点中调用第三方包
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
开发PyODPS 2任务
如果您的PyODPS任务需要访问特殊的网络环境（如VPC网络或IDC网络中的数据源或服务等），请使用独享调度资源组，并参考 网络连通解决方案 打通独享资源组与目标环境的网络连通。PyODPS语法及更多信息请参见 PyODPS文档。PyODPS节点分为...
计费说明
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
架构
SOFAStack 提供基于 Kubernetes 的托管式容器应用服务，服务底层可无缝对接阿里云，裸金属服务器和其他 IaaS 平台（如 OpenStack），并针对不同平台，按照 CSI、CNI 标准提供存储、网络插件，使用 Open Service Broker 标准接入三方服务，...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
调度至Arm节点
如果您的集群中既有Arm节点，又有非Arm节点（例如x86节点），为了确保只兼容Arm架构的工作负载调度到Arm节点，或多架构镜像优先调度到Arm节点，您可以基于Kubernetes原生调度配置来实现。前提条件 已创建Arm集群或Arm节点池，且集群版本...
使用流量调度功能控制各类流量的跨地域带宽
流量调度功能支持为不同类型的跨地域流量添加标记，并且能够依据标记值对不同类型的跨地域流量分别进行带宽限制，有效保证各类业务的跨地域带宽，提高网络整体的运行效率。功能介绍 概述 企业使用云企业网CEN（Cloud Enterprise Network）...
网络资源
网络资源是指用于节点之间通信和数据传输的硬件和软件资源，除了包括广域网、局域网、交换机、路由器，还包括常用到的专有网络、虚拟交换机、负载均衡、弹性公网、VPN、DNS、CDN等资源。在分布式系统中，网络资源的主要作用是支持节点之间...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建ACK集群...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建 ACK ...
PAI灵骏智算服务概述
全对等网络架构，全资源池化，可以搭配PAI（机器学习平台）使用，支持多种训练框架（Pytorch、TensorFlow、Caffe、Keras、XGBoost、Mxnet等），可以满足多种规模的AI训练和推理业务。AI基础设施。平滑扩容。满足不同规模GPU算力需求，平滑...
离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
DataWorks资源组概述
任务同一个执行阶段可选择不同类型的资源组，例如，离线任务调度可选择包年包月独享调度资源组，或按量付费公共调度资源组，数据集成离线任务执行可选择包年包月独享数据集成资源组，关于资源组选择详情请参见 资源组选择。DataWorks的公共...
应用场景
超大规模GPU算力系统，全对等网络架构，全资源池化，可以搭配PAI（机器学习平台）使用，支持多种训练框架（Pytorch、TensorFlow、Caffe、Keras、Xgboost、Mxnet等），可以满足多种规模的AI训练和推理业务。AI基础设施。平滑扩容。满足不同...
RunInstances-批量创建实例
如果指定了私网 IP，实例数量只能为 1 台，且私网 IP 和交换机 ID 同时非空时，该私网 IP 才生效。10.0.XX.XX PeriodUnit string 否 购买资源的时长单位。取值：Month（默认）：按月购买。Day：按天购买。Month PublicIpIdentification ...
API概览
本产品（云企业网/2017-09-...流量调度策略 流量调度策略 CreateCenInterRegionTrafficQosQueue 创建流量调度策略下队列的配置 如果您需要对不同类型和优先级的网络流量进行细致管理，以确保关键业务流量的性能并遵守服务级别协议，您可以调用...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
评估合适的云服务
在进行高性能架构设计时，首先需要关注的是计算、存储、网络等基础云服务的选择。充分了解自身业务特征及指标，熟悉架构主要组件所涉及云产品方案类型，有利于业务和工作负载在不同的产品方案中受益，并使系统架构得以持续优化。数据库的...
功能概览
当节点出现故障时，通过智能调度，实现秒级容灾切换，保障网络的稳定性。IPv6支持 支持IPv4和IPv6双栈。丰富的报表日志 阿里云注册用户，接入系统后可查看历史域名访问日志报表；可查询域名、子域名的请求量信息以及排名信息。用户隐私保护...
ClickHouse SQL
已开通独享调度资源组，并且独享调度资源组需要绑定ClickHouse集群所在的VPC专有网络，详情请参见 新增和使用独享调度资源组。说明 仅支持使用独享调度资源组运行ClickHouse SQL节点任务。步骤一：创建 ClickHouse SQL节点 进入数据开发...
云原生AI套件概述
异构计算集群概述 开启集群GPU监控 共享GPU调度概述 AI任务调度 多种调度策略支持：针对AI分布式训练等典型批量任务类型，ACK调度器扩展Kubernetes原生调度框架，支持实现多种典型批量调度策略，包括Gang Scheduling（Coscheduling）、FIFO...
全场景解决方案
平滑迁移异构治理 方案架构 双模微服务平台通过 SOFA 微服务和 Service Mesh 微服务，提供了既支持 SOFA 框架又支持 Service Mesh 架构的微服务管理和治理能力,解决用户在技术转型期间与未改造的遗留系统相互之间的打通和过渡问题，帮助...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
使用插件部署混合云集群
背景信息 混合云集群是E-HPC提供的一套用于云上计算资源和本地服务之间互通的集群结构，通常由本地调度器、本地域控、云上计算节点、共享存储与互联互通网络组成。混合云集群具备以下优势：统一调度|在不改变本地已有调度策略与域控的基础...
传输信道
中心调度 通过DataTrust云端节点进行中心调度。您需先登录 阿里云，购买指引，云账号信息在本地化部署时输入。暂不支持修改，如果需要修改请联系运维部署人员。网络代理 指令信息将通过代理服务器转发。在 网络代理 区域，单击 前去设置 ...
容量规划
分析系统架构和资源消耗：分析系统的架构和资源消耗情况，包括CPU、内存、磁盘空间、网络带宽等。通过监测系统的性能指标和资源利用率，确定系统的性能瓶颈和资源瓶颈。容量评估和规划：根据需求和数据分析的结果，进行容量评估和规划。...
- 产品推荐
- 这些文档可能帮助您