PolarDB并行查询
这样就使执行策略的灵活性成为可能，允许在资源不足情况下，要么退回串行，要么降低并行度，或者进入调度队列排队等资源。基于代价的穷尽式枚举 并行优化是一个自底向上，基于动态规划的穷尽式枚举过程，实现思路参考了SQL Server PDW ...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
权限管理与规范化数据开发
根据表血缘来配置节点调度依赖后，可以保障调度任务在运行时能取到正确的数据，避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。在DataWorks依赖配置中，上游节点的输出作为下游节点的输入，形成节点依赖关系。...
补数据
本文为您介绍补数据的相关问题。补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
什么是容器服务 Kubernetes 版
调度：支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源的利用率。多集群管理：支持线下IDC和多云多区域的集群统一接入，实现混合云应用管理。授权管理：支持RAM授权和RBAC权限管理...
ACK集群概述
调度：支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源的利用率。多集群管理：支持线下IDC和多云多区域的集群统一接入实现混合云应用管理。授权管理：支持RAM授权和RBAC权限管理。...
Java SDK
本文介绍SchedulerX产品的Java SDK发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的Java SDK发布动态。发布记录 1.11.4，2024-03-20 功能名称 变更类型 功能描述 相关文档 工作流 新增 JobContext可以获取...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
历史记录
本文介绍了SchedulerX产品在2022年以前发布涉及的新增功能、功能优化、重要问题修复及对应的文档，帮助您了解SchedulerX的历史发布动态。服务端 2021-12-01 新特性 新增API：指定机器。新增API：查询工作流。2021-06-02 新特性 支持应用...
兼容Spring定时任务
例如，需自行解决集群中重复执行问题、任务无可视化管控能力、无报警能力等等。通过对接SchedulerX任务调度可在不改变原有定时任务业务代码的情况下，可快速实现企业化运用的支持。功能优势 白屏管控和运维 提供白屏控制台可以动态新增、...
云盘存储卷FAQ
问题原因 所有的PV中都存在 nodeaffinity 属性，当PV中 nodeaffinity 属性和Pod的 nodeaffinity 属性不一致时，就会出现上述报错，调度器因属性冲突无法调度。解决方案 修改PV或者Pod的属性，使二者属性保持一致。启动挂载了云盘的Pod时...
使用负载热点打散重调度
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
阿里云CDN的五大竞争力
基于内容调度，提高访问命中率：在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术，302调度是一种中心调度方案，用户在请求某一个资源的时候，在完成域名DNS解析之后，用户请求将会先访问到中心调度系统上，...
RPC
MOSN 升级方案 容器替换方案完成后，我们要面临第三个问题：由于是大规模的容器，所以 MOSN 在开发过程中，势必会存在一些问题，MOSN 出现问题，如何升级？线上几十万容器升级一个组件的难度是很大的，因此，在版本初期就需考虑到 MOSN 的...
自定义资源组
如果使用自定义调度资源组出现问题，需要首先确认Agent是否安装监控。操作如下所示：登录机器，切换至有权限账号下。执行下述命令。wget ...
Group Identity功能说明
背景信息 在业务的混合部署（延迟敏感型和计算型任务混合部署在同一台实例）场景中，Linux内核调度器需要为高优先级任务赋予更多的调度机会以最小化调度延迟，并需要把低优先级任务对内核调度带来的影响降到最低。基于该场景，Alibaba ...
Pod诊断
根因分析：根据采集的数据和检查项，部分问题可自动分析导致问题的原因。诊断结果 诊断结果包括根因结果与检查项。根因诊断结果部分包括 识别到的异常、异常根因 和 修复建议。检查项则按不同的类别对可能引起异常的点进行检查，覆盖根因未...
兼容Spring定时任务
例如，需自行解决集群中重复执行问题、任务无可视化管控能力、无报警能力等等。通过对接SchedulerX任务调度可在不改变原有定时任务业务代码的情况下，可快速实现企业化运用的支持。功能优势 白屏管控和运维 提供白屏控制台可以动态新增、...
兼容Spring定时任务
例如，需自行解决集群中重复执行问题、任务无可视化管控能力、无报警能力等等。通过对接SchedulerX任务调度可在不改变原有定时任务业务代码的情况下，可快速实现企业化运用的支持。功能优势 白屏管控和运维 提供白屏控制台可以动态新增、...
离线同步数据质量排查
环境信息排查 问题 解决方案 查询了错误或不完整的数据源、表、或者分区等。DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源，再对数据数量和内容比对时，需要确认下...
弹性伸缩FAQ
本文介绍容器服务ACK弹性伸缩的常见问题及解决办法。类型 问题 水平伸缩（HPA）常见问题 HPA的监控数据current字段为何显示为unknown？为何HPA在滚动发布时出现扩容多余Pod？HPA到达阈值为何不进行扩缩容？HPA采集周期如何配置？CronHPA...
离线同步能力说明
说明 脏数据是对于业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中...
弹性伸缩FAQ
本文介绍容器服务ACK弹性伸缩的常见问题及解决办法。类型 问题 节点自动伸缩常见问题 如何升级cluster-autoscaler至最新版本？cluster-autoscaler可模拟判断的资源有哪些？cluster-autoscaler是否支持自定义资源？如何指定节点不被cluster-...
服务运维
这个问题最终通过调度层修改启动逻辑来解决：Pod 内需要优先等待所有 Sidecar 启动完成。但是，这导致了下述第二所述的新问题。Sidecar 启动慢了，上层超时。此问题仍在解决中。Sidecar 中，MOSN 提供了更为灵活的平滑升级机制：由 ...
资源使用优化
使用更实时、更主动、更智能的 容器服务ACK精细化调度 是获得良好用户体验的关键。通过计算资源的弹性调度，完成指标收集、在线决策、离线分析、决策优化的闭环。管理存储生命周期 随着应用与业务系统的长期运行，企业将积累大量数据。同时...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
开发ODPS MR任务
MaxCompute提供MapReduce编程接口。您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的...MapReduce常见问题：您可了解MR任务执行过程中的常见问题，便于出现异常时快速排查解决。
开发ODPS MR任务
MaxCompute提供MapReduce编程接口。您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的...MapReduce常见问题：您可了解MR任务执行过程中的常见问题，便于出现异常时快速排查解决。
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
节点异常问题排查
本文介绍关于节点异常问题的诊断流程、排查思路、常见问题及解决方案。本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
开发PyODPS 2任务
DataWorks提供PyODPS 2节点类型，您可以在DataWorks上通过PyODPS语法进行PyODPS任务开发，PyODPS集成了MaxCompute的Python SDK。支持您在DataWorks的...PyODPS常见问题：您可了解PyODPS执行过程中的常见问题，便于出现异常时快速排查解决。
DataWorks V2.0
DataWorks V2.0支持双工作空间开发，隔离开发和生产环境，保证数据研发规范，减少错误代码的出现。已升级DataWorks V2.0区域 目前所有区域均升级至DataWorks V2.0版本。DataWorks V2.0版本操作差异 您可参见DataWorks V2.0系列详解视频，对...
执行补数据并查看补数据实例（旧版）
您可在DAG图上使用可视化方式添加节点，也可在任务列表中添加节点。在当前周期任务的DAG图中，结合DAG的聚合功能，按照工作空间、所属责任人或优先级等维度将节点划分为组，直接勾选该节点组，快速添加目标类别的节点为补数据节点。实例的...
设计阶段
多并行、少串行（在分布式系统下可发挥其优势）。运行周期 如果数据研发的场景是在常见T+1离线计算场景，则应将不同调度任务按照实际业务需求，赋予小时、日、周、月和季度等不同的调度粒度。说明 程序必须支持重跑。如果SQL语句优化后，单...
持续架构优化
探索混合部署 为提升资源整体利用率，解决资源碎片问题并降低离线作业成本，将不同类型的在线、离线任务调度到相同资源上，通过调度和资源隔离等控制手段保障服务的能力称为在离线或离在线混部。两者区别在于是以在线业务为主还是以离线...
概述
子查询支持 在并行查询下子查询有四种执行策略：在Leader线程中串行执行 当子查询不可并行执行时，例如2个表JOIN，在JOIN条件上引用了用户的函数，此时子查询会在Leader线程上进行串行查询。在Leader上并行执行（Leader会启动另一组Worker...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
- 产品推荐
- 这些文档可能帮助您