为PD分离推理服务配置弹性伸缩策略
在Prefill-Decode(PD)分离的LLM推理架构中,Prefill和Decode阶段的资源需求差异巨大,传统的CPU/GPU利用率指标无法有效指导弹性伸缩。本方案以Dynamo框架为例,介绍如何利用KEDA,根据NATS消息队列的积压情况,为Prefill角色配置独立的弹性伸缩策略,实现资源按需分配,优化服务成本与性能。
云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升
在数据驱动决策的时代,数据规模增长加快、分析需求不断变化。数据从多种渠道(如应用日志、网络交互、移动设备等)源源不断地流入,包含结构化、半结构化、非格式化等多种数据格式,这对数据的存储和分析提出了很高的挑战。与此同时,企业对实时分析、探索性查询的需求激增,要求系统在保证毫秒级响应能力的同时,兼具极致的成本效益与弹性扩展能力。 Apache Doris 诞生于存算一体的分布式时代,是典型的 Sha....
在云原生架构的升级中,存算分离往Serverless方向发展的具体计划是什么?
在云原生架构的升级中,存算分离往Serverless方向发展的具体计划是什么?
AnalyticDB PostgreSQL新版云原生如何实现存储计算分离,并带来哪些优势?
AnalyticDB PostgreSQL新版云原生如何实现存储计算分离,并带来哪些优势?
PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题
在数据库技术的长河中,架构的演进始终伴随着业务需求和技术突破的双重驱动。PolarDB,作为阿里巴巴自主研发的新一代云原生分布式数据库,其核心设计理念——存储计算分离架构,无疑是其在大数据时代脱颖而出的关键。本文将深入PolarDB内核,探讨这一设计哲学背后的奥秘,揭示其如何在保证高性能、高可用性和可扩展性的同时...
基于CDH6和LDFS构建云原生存储计算分离的开源大数据系统
CDH(Cloudera's Distribution, including Apache Hadoop)提供Hadoop组件的安装、运维、监控等功能,您可以使用CDH6(表示CDH 6.X 版本)管理您的Hadoop集群。本文介绍如何将CDH6与LindormDFS集成,来替换底层HDFS存储。您可以基于CDH6和LindormDFS构建云原生存储计算分离的开源大数据系统。
直播|深入解析 StarRocks 存算分离--云原生湖仓 Meetup#2
StarRocks 3.0 正式开启极速统一的湖仓新范式,借助云原生存算分离构架、极速数据湖分析、物化视图等重量级特性实现湖仓架构升级,兼具数据仓库查询高性能与数据湖低成本可扩展的优势,让用户更简单地实现极速统一的湖仓分析。作为 StarRocks 云原生湖仓的核心基础,存算分离架构极大地增强了系统的弹性扩展能力,并降低了计算与存储的总成本。自今年 4 月 StarRocks 3.0 版本推出存....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
阿里云云原生
关注云原生中间件、微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生技术趋势、云原生大规模的落地实践
+关注