为PD分离推理服务配置弹性伸缩策略
在Prefill-Decode（PD）分离的LLM推理架构中，Prefill和Decode阶段的资源需求差异巨大，传统的CPU/GPU利用率指标无法有效指导弹性伸缩。本方案以Dynamo框架为例，介绍如何利用KEDA，根据NATS消息队列的积压情况，为Prefill角色配置独立的弹性伸缩策略，实现资源按需分配，优化服务成本与性能。
基于CDH6和LDFS构建云原生存储计算分离的开源大数据系统
CDH（Cloudera's Distribution, including Apache Hadoop）提供Hadoop组件的安装、运维、监控等功能，您可以使用CDH6（表示CDH 6.X 版本）管理您的Hadoop集群。本文介绍如何将CDH6与LindormDFS集成，来替换底层HDFS存储。您可以基于CDH6和LindormDFS构建云原生存储计算分离的开源大数据系统。
直播｜深入解析 StarRocks 存算分离--云原生湖仓 Meetup#2
StarRocks 3.0 正式开启极速统一的湖仓新范式，借助云原生存算分离构架、极速数据湖分析、物化视图等重量级特性实现湖仓架构升级，兼具数据仓库查询高性能与数据湖低成本可扩展的优势，让用户更简单地实现极速统一的湖仓分析。作为 StarRocks 云原生湖仓的核心基础，存算分离架构极大地增强了系统的弹性扩展能力，并降低了计算与存储的总成本。自今年 4 月 StarRocks 3.0 版本推出存....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云云原生
关注云原生中间件、微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生技术趋势、云原生大规模的落地实践
+关注