MaxCompute AI Function提供低代码、多引擎支持的预定义函数，简化大模型与机器学习推理在大数据场景中的应用。更加便捷的通过SQL或Python调用大模型和机器学习能力。
AI Function是MaxCompute提供的一组面向AI业务场景的预定义函数，将复杂的AI推理操作封装为简洁的SQL或Python算子。用户无需编写底层模型调用代码，即可通过标准SQL或MaxFrame（分布式Python引擎）直接调用大模型或机器学习模型，显著降低用户在数据处理、大数据分析等场景的AI使用门槛。
为LLM推理服务配置推理网关智能路由
传统的HTTP请求，经典负载均衡算法可以将请求均匀地发送给不同的工作负载。然而，对于LLM推理服务来说，每个请求给后端带来的负载是难以预测的。推理网关（Gateway with Inference Extension）是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，它能够通过智能路由优化在多个推理服务工作负载之间的负载均衡性能，根...
为单机/多机推理配置弹性扩缩容
在管理LLM推理服务时，需要应对模型推理过程中高度动态的负载波动。本文通过结合推理框架的自定义指标与 Kubernetes HPA（Horizontal Pod Autoscaler）机制，实现对推理服务Pod数量的自动灵活调整，从而有效提升推理服务的质量与稳定性。
基于ACK多机分布式部署DeepSeek满血版推理部署实战
本文深入解析基于阿里云容器服务ACK的DeepSeek-R1-671B大模型分布式推理实战方案。针对该千亿参数模型（671B）单卡显存不足的挑战，提出混合并行策略（Pipeline Parallelism=2 + Tensor Parallelism=8），结合阿里云Arena工具，实现在2台ecs.ebmgn8v.48xlarge（8*96GB）节点上的高效分布式部署。进一步演示如何将部署于AC...
云上AI推理平台全掌握 (3)：服务接入与全球调度
在 AI 推理服务全球化部署的今天，企业正面临跨地域流量调度、异构网络接入、高安全要求与低延迟保障的多重挑战。据行业调研，超过60%的 AI 推理性能问题源于非最优的网络路径选择，而混合云场景下的服务接入复杂度更是导致运维成本飙升300%。阿里云人工智能平台 PAI 平台推出的全球化的服务接入矩阵，正重新定义 AI 服务的高可用接入标准——从单地域 VPC 安全隔离到跨洲际毫秒级调度，让客户的推....
云上AI推理平台全掌握 (1)：PAI-EAS LLM服务一键压测
在云上构建高效、可扩展的 AI 推理平台，不仅需要应对千亿参数模型的计算复杂度，更需解决高并发、低延迟、动态负载等现实挑战。只有通过科学、贴近业务的压测体系，才能验证平台在真实场景下的极限承载能力。 本期内容将聚焦云上 LLM 推理服务的压测实践，帮助企业和开发者在复杂业务流量下，实现推理性能的精准调优与成本优化，为大规模 AI 应用落地筑牢基础。 阿里云人工智能平台 ...
阿里云潘岳：异构计算四年算力提升100倍，云上AI推理占比超50%
12月17日， GTC China 2020大会上，阿里云异构计算产品负责人潘岳表示，人工智能行业需求发生了明显的变化，云上AI业务的推理需求占比首次超过50%，阿里云GPU云服务器从四年前的gn4到今年新发布的gn7，单实例异构算力提升了100倍。 异构计算是最能发挥AI效率的计算方式。潘岳介绍，阿里云提供了超大规模的云上异构计算集群，每秒可支撑100亿亿次的异构运算，能够在1秒内看懂超过5.....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注