MaxCompute AI Function提供低代码、多引擎支持的预定义函数，简化大模型与机器学习推理在大数据场景中的应用。更加便捷的通过SQL或Python调用大模型和机器学习能力。
AI Function是MaxCompute提供的一组面向AI业务场景的预定义函数，将复杂的AI推理操作封装为简洁的SQL或Python算子。用户无需编写底层模型调用代码，即可通过标准SQL或MaxFrame（分布式Python引擎）直接调用大模型或机器学习模型，显著降低用户在数据处理、大数据分析等场景的AI使用门槛。
当AI开始“思考”：为什么大模型的尽头是推理？
当AI开始“思考”：为什么大模型的尽头是推理？ ——by Echo_Wish 咱们聊AI，总离不开一个关键词——“大模型”。从GPT、Claude、Gemini到国内的一众大语言模型，AI越来越聪明，越来越“像人”。可问题是：它到底怎么做到的？难道真有了“意识”？ 其实并没有。但它确...
《Confidential MaaS 技术指南》发布，从 0 到 1 构建可验证 AI 推理环境
2025 云栖大会操作系统开源与 AI 进化分论坛上，英特尔数据中心与人工智能集团首席工程师宋川、龙蜥社区安全联盟主席龙勤、OPPO 高级安全架构师杨洋、阿里云智能集团高级技术专家刘煜堃等 4 位嘉宾，共同出席并发布了《Confidential MaaS：构建可验证的推理链路数据密态流转》技术指南（下载链接见文末），该指南深入阐述如何从 0 到 1 构建可验证的 AI 推理环境，并覆盖不同场景的....
用Context Offloading解决AI Agent上下文污染，提升推理准确性
说到上下文工程，其实就是在合适的时机把AI需要的所有东西都给它——指令、示例、数据、工具、历史记录，全部打包塞到模型的输入上下文里。 这么理解会比较直观：语言模型就像CPU，上下文窗口就是工作内存。我们要做的就是往这块内存里装合适比例的代码、数据和指令，让模型能把事情做对。 上下文的来源很多：用户的查询、系统指令、搜索结果、工具输出，还有前面步骤的总结。上下文工程的核心在于把这些碎片实时组装成一....
如何破解AI推理延迟难题：构建敏捷多云算力网络
正如在上一篇文章《AI创业公司如何突破算力瓶颈，实现高效发展？》中所述，高效调度算力只是AI公司突破瓶颈的第一步。若没有与之匹配的网络架构，再精巧的算力策略也难以落地，算法更无法转化为稳定交付的服务。 那么，这套支撑AI商品化的网络架构，究竟是怎样的？ AI企业典型IT架构解析 随着文生图、文生视频等大模型应用的产品化落地，越来越多AI企业在“算法创新...
为LLM推理服务配置推理网关智能路由
传统的HTTP请求，经典负载均衡算法可以将请求均匀地发送给不同的工作负载。然而，对于LLM推理服务来说，每个请求给后端带来的负载是难以预测的。推理网关（Gateway with Inference Extension）是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件，它能够通过智能路由优化在多个推理服务工作负载之间的负载均衡性能，根...
AMD Ryzen AI Max+ 395四机并联：大语言模型集群推理深度测试
本文介绍使用四块Framework主板构建AI推理集群的完整过程，并对其在大语言模型推理任务中的性能表现进行了系统性评估。该集群基于AMD Ryzen AI Max+ 395处理器，采用mini ITX规格设计，可部署在10英寸标准机架中。 Jeff Geerling大佬还开发了名为Beowulf AI Cluster的自动化部署工具集ÿ...
AI推理方法演进：Chain-of-Thought、Tree-of-Thought与Graph-of-Thought技术对比分析
大语言模型的推理能力提升，经历了从规模扩展到方法创新的转变。Google在2022年提出Chain-of-Thought（CoT），通过让模型"展示工作过程"大幅提升了推理表现。随后Tree-of-Thought和Graph-of-Thought相继出现，推理结构从线性链条演进为复杂图网络。 Chain-of-Thought：让AI展示推理步骤 CoT的核心机制是要求模型输出中间推理过程，而不是....
为单机/多机推理配置弹性扩缩容
在管理LLM推理服务时，需要应对模型推理过程中高度动态的负载波动。本文通过结合推理框架的自定义指标与 Kubernetes HPA（Horizontal Pod Autoscaler）机制，实现对推理服务Pod数量的自动灵活调整，从而有效提升推理服务的质量与稳定性。
科技云报到：AI推理破局，金融服务如何“逆天改命”
科技云报到原创。 当银行客户经理在收到智能体推送的信贷风险预警报告时，他或许不会意识到，这份报告背后的AI模型正经历着金融业最严苛的“考试”——既要精准识别财报数据中的异常波动，又要严格遵循银保监会的监管条文，更要避免一句可能引发合规风险的表述失误。 这正是当下金融AI的真实写照，在这个容错率近乎为零的领域，通用...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
AI更多推理相关
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注