阿里云文档 2025-12-25

为PD分离推理服务配置弹性伸缩策略

在Prefill-Decode(PD)分离的LLM推理架构中,Prefill和Decode阶段的资源需求差异巨大,传统的CPU/GPU利用率指标无法有效指导弹性伸缩。本方案以Dynamo框架为例,介绍如何利用KEDA,根据NATS消息队列的积压情况,为Prefill角色配置独立的弹性伸缩策略,实现资源按需分配,优化服务成本与性能。

阿里云文档 2025-09-09

部署Dynamo PD分离推理服务

本文以Qwen3-32B模型为例,演示如何在ACK中部署Dynamo PD分离架构的模型推理服务。

阿里云文档 2025-09-09

部署SGLang PD分离推理服务

本文以Qwen3-32B模型为例,演示如何在ACK中部署SGLang PD分离推理引擎的模型推理服务。

文章 2025-03-06 来自:开发者社区

云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升

在数据驱动决策的时代,数据规模增长加快、分析需求不断变化。数据从多种渠道(如应用日志、网络交互、移动设备等)源源不断地流入,包含结构化、半结构化、非格式化等多种数据格式,这对数据的存储和分析提出了很高的挑战。与此同时,企业对实时分析、探索性查询的需求激增,要求系统在保证毫秒级响应能力的同时,兼具极致的成本效益与弹性扩展能力。 Apache Doris 诞生于存算一体的分布式时代,是典型的 Sha....

云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升
问答 2024-07-31 来自:开发者社区

在云原生架构的升级中,存算分离往Serverless方向发展的具体计划是什么?

在云原生架构的升级中,存算分离往Serverless方向发展的具体计划是什么?

问答 2024-07-31 来自:开发者社区

AnalyticDB PostgreSQL新版云原生如何实现存储计算分离,并带来哪些优势?

AnalyticDB PostgreSQL新版云原生如何实现存储计算分离,并带来哪些优势?

问答 2024-07-30 来自:开发者社区

为什么分离采购与建设模式的折扣会影响云原生转型的效果?

为什么分离采购与建设模式的折扣会影响云原生转型的效果?

文章 2024-07-03 来自:开发者社区

PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题

在数据库技术的长河中,架构的演进始终伴随着业务需求和技术突破的双重驱动。PolarDB,作为阿里巴巴自主研发的新一代云原生分布式数据库,其核心设计理念——存储计算分离架构,无疑是其在大数据时代脱颖而出的关键。本文将深入PolarDB内核,探讨这一设计哲学背后的奥秘,揭示其如何在保证高性能、高可用性和可扩展性的同时...

阿里云文档 2024-05-30

基于CDH6和LDFS构建云原生存储计算分离的开源大数据系统

CDH(Cloudera's Distribution, including Apache Hadoop)提供Hadoop组件的安装、运维、监控等功能,您可以使用CDH6(表示CDH 6.X 版本)管理您的Hadoop集群。本文介绍如何将CDH6与LindormDFS集成,来替换底层HDFS存储。您可以基于CDH6和LindormDFS构建云原生存储计算分离的开源大数据系统。

文章 2023-08-11 来自:开发者社区

直播|深入解析 StarRocks 存算分离--云原生湖仓 Meetup#2

StarRocks 3.0 正式开启极速统一的湖仓新范式,借助云原生存算分离构架、极速数据湖分析、物化视图等重量级特性实现湖仓架构升级,兼具数据仓库查询高性能与数据湖低成本可扩展的优势,让用户更简单地实现极速统一的湖仓分析。作为 StarRocks 云原生湖仓的核心基础,存算分离架构极大地增强了系统的弹性扩展能力,并降低了计算与存储的总成本。自今年 4 月 StarRocks 3.0 版本推出存....

直播|深入解析 StarRocks 存算分离--云原生湖仓 Meetup#2

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云云原生

关注云原生中间件、微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生技术趋势、云原生大规模的落地实践

+关注