文章 2025-04-17 来自:开发者社区

容器化爬虫部署:基于K8s的任务调度与自动扩缩容设计

摘要随着业务复杂度提升,单纯依靠定时任务和手工扩缩容已无法满足高并发、实时性和资源利用效率需求。本篇文章比较了两种基于 Kubernetes 的容器化爬虫调度与扩缩容方案:一种是利用 Kubernetes 原生的 CronJob 与 Horizontal Pod Autoscaler(HPA);另一种是基于 KEDAÿ...

容器化爬虫部署:基于K8s的任务调度与自动扩缩容设计
阿里云文档 2025-03-06

在ACK集群部署多租户任务调度管理

在ACK集群中,企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统。

问答 2024-01-17 来自:开发者社区

SchedulerX里我们有个k8s任务, 容器里面看已经完成了 但是任务调度还是运行中是什么情况?

SchedulerX里我们有个k8s任务, 容器里面看已经完成了 但是任务调度还是运行中,导致我们整个任务流后续都没跑,这怎么回事?控制台链接https://schedulerx2.console.aliyun.com/cn-shenzhen/InstanceList?namespace=c5ad3a7d-82dd-49fe-823c-51986af40181&source=schedul...

阿里云文档 2024-01-15

云原生AI套件支持的弹性资源调度、AI任务调度、异构资源调度和任务队列调度

本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度,帮助用户提升集群的资源利用率和作业运行效率。

文章 2023-12-23 来自:开发者社区

Docker【应用 01】Spring Boot 项目部署在Linux环境下的Docker容器内举例(任务调度系统 xxl-job 任务调度中心)(手动版)

1.将SpringBoot项目打jar包这里打包的是xxl-job任务调度系统的调度器。2.编写DockerfileFROM java:8 VOLUME /tmp ADD xxl-job-admin.jar /app.jar RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime RUN echo 'Asia/Shanghai' &a...

Docker【应用 01】Spring Boot 项目部署在Linux环境下的Docker容器内举例(任务调度系统 xxl-job 任务调度中心)(手动版)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云容器服务 ACK

云端最佳容器应用运行环境,安全、稳定、极致弹性

+关注