MaxCompute AI Function提供低代码、多引擎支持的预定义函数，简化大模型与机器学习推理在大数据场景中的应用。更加便捷的通过SQL或Python调用大模型和机器学习能力。
AI Function是MaxCompute提供的一组面向AI业务场景的预定义函数，将复杂的AI 推理操作封装为简洁的SQL或Python算子。用户无需编写底层模型调用代码，即可通过标准SQL或MaxFrame（分布式Python引擎）直接调用大模型或机器学习模型，显著降低用户在数据处理、大数据分析等场景的AI使用门槛。
当AI开始“思考”：为什么大模型的尽头是推理？
当AI开始“思考”：为什么大模型的尽头是推理？ ——by Echo_Wish 咱们聊AI，总离不开一个关键词——“大模型”。从GPT、Claude、Gemini到国内的一众大语言模型，AI越来越聪明，越来越“像人”。可问题是：它到底怎么做到的？难道真有了“意识”？ 其实并没有。但它确...
为LLM推理服务配置推理网关智能路由
传统的HTTP请求，经典负载均衡算法可以将请求均匀地发送给不同的工作负载。然而，对于LLM推理服务来说，每个请求给后端带来的负载是难以预测的。推理网关（Gateway with Inference Extension）是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，它能够通过智能路由优化在多个推理服务工作负载之间的负载均衡性能，根...
为单机/多机推理配置弹性扩缩容
在管理LLM推理服务时，需要应对模型推理过程中高度动态的负载波动。本文通过结合推理框架的自定义指标与 Kubernetes HPA（Horizontal Pod Autoscaler）机制，实现对推理服务Pod数量的自动灵活调整，从而有效提升推理服务的质量与稳定性。
基于ACK多机分布式部署DeepSeek满血版推理部署实战
本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型（671B）单卡显存不足的挑战，提出混合并行策略（Pipeline Parallelism=2 + Tensor Parallelism=8），结合阿里云Arena工具，实现在2台ecs.ebmgn8v.48xlarge（8*96GB）节点上的高效分布式部署。进一步演示如何将部署于AC...
在AMD GPU上部署AI大模型：从ROCm环境搭建到Ollama本地推理实战指南
在人工智能和机器学习领域，NVIDIA 公司凭借其 CUDA 计算生态系统和高性能 GPU 架构，已成为大型语言模型(LLM)训练与推理的主导力量。从基础实验到前沿研究，NVIDIA 的技术方案几乎成为了行业标准。作为其主要竞争对手，AMD（YES！）在 AI 计算领域的发展潜力值得关注。 AMD 在 CPU 和 GPU 市场已深耕多年。在处理器领域，AMD 不仅与英特尔形成有效竞争，近期在数据....
ACK Gateway with AI Extension：大模型推理的模型灰度实践
【阅读原文】戳：ACK Gateway with AI Extension：大模型推理的模型灰度实践 ACK Gateway with AI Extension组件专为LLM推理场景设计，支持四层/七层流量路由，并提供基于模型服务器负载智能感知的负载均衡能力。此外，通过InferencePool和InferenceModel自定义资源（CRD），可以灵活定义推理服务的...
ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践
【阅读原文】戳：ACK Gateway with AI Extension：面向Kubernetes大模型推理的智能路由实践 在当今大语言模型（LLM）推理场景中，Kubernetes已经成为LLM推理服务部署不可获取的基础设施，但在LLM流量管理方面、由于LLM推理服务和推理流量的特殊性，传统的负载均衡和路由调度算法已难以满足该类服务的高性能、高可靠性需求。阿里云容...
官宣开源 阿里云与清华大学共建AI大模型推理项目Mooncake
【阅读原文】戳：官宣开源 阿里云与清华大学共建AI大模型推理项目Mooncake 2024年6月，国内优质大模型应用月之暗面Kimi与清华大学MADSys实验室（Machine Learning, AI, Big Data Systems Lab）联合发布了以KVCache为中心的大模型推理架构Mooncake。通过使用以KVCache为中心的PD分离和以存换算架构，大幅提升大...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注