AI推理新纪元，PAI全球化模型推理服务的创新与实践
在过去的一年里，大家见证了AI浪潮的风起云涌。我这几天也跟大家一样，穿梭在各个展区中，看到非常多有趣的AI应用和创新应用的迸发。同时，我还参加了许多session，聆听了众多专家分享他们如何利用AI技术重塑各行各业。 那么我们看到了什么呢？我们看到了AI正扮演着客服的角色，成为了我们的导购，甚至担当起了面试官的重任。就连在游戏中，我们也不再仅仅与玩家组队，而是开始与AI并肩作战...
PolarDB-PG AI最佳实践 2 ：PolarDB AI X EAS实现自定义库内模型推理最佳实践
业务场景 随着AI/ML的火热，后端开发人员也在考虑如何直接方便地为数据库添加AI/ML能力，更好地为业务服务。比如，直接使用SQL语句就可以完成大模型的调用，实现向量的生成，评论情绪分析以及更为复杂的文本生成等操作。业务端无需具备专业的知识，无需部署专门的SDK，仅使用SQL就可以完成专业的AI/ML应用。 PolarDB具备POLAR_AI模型服务调用插件，支持使用SQL的方...
AI智能体研发之路-工程篇（五）：大模型推理服务框架LocalAI一键部署
一、引言 今天开始写大语言模型推理服务框架的第三篇——LocalAI，前两篇见 大语言模型推理服务框架—Ollama 大语言模型推理服务框架—Xinference 这个框架相比于前两篇，如果服务器没办法科学上网，学习和使用难度都要上一个台阶，花了几个小时踩了几个坑，将排坑后的内容分享给大家，如果大家觉得有用的话，希望获得您的关注、收藏、点赞及评论。 二、排...
AI智能体研发之路-工程篇（四）：大模型推理服务框架Xinference一键部署
一.引言 上一篇大语言模型推理服务框架—Ollama介绍了Ollama，Ollama以出色的设计一行命令完成推理框架部署，一行命令完成大模型部署，模型的下载不依赖梯子，速度非常快，大幅提升模型部署效率，同时，当有多卡GPU时，Ollama可以自动将模型分片到各个GPU上，博主使用V100显卡（单卡32G显存）部署llama3 70B（预计需要40G显存），自动完成了显存分配。 今...
AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署
一.引言 身处2024年，大模型技术从底层模型到AI应用都卷的要命，我们可以说是幸运的，也可以是幸福的，当然，学习的路上，不停的追赶，必定是疲惫的。分享一些丝滑的大模型技术栈内的项目，让大家疲惫并快乐着。 今天要讲的是一个大模型推理服务框架-Ollama，对比的还有Xinference、OpenLLM、LocalAI，从丝滑角度而言（这里特别强调一下，我所讲的丝滑，指的是众所周知...
AI模型推理服务在Knative中最佳配置实践
【阅读原文】戳：AI模型推理服务在Knative中最佳配置实践 【作者：李鹏、尹航】Knative和AI结合提供了快速部署、高弹性和低成本的技术优势，对于一些需要频繁变动计算资源的AI应用，如模型推理等尤其明显。那么在Knative上部署AI模型推理时可以遵循这些最佳实践，以提升AI推理服务能力和GPU资源利用率。 ...
极智AI | TensorRT API构建模型推理流程
大家好，我是极智视界，本文介绍一下 TensorRT API 构建模型推理流程。TensorRT 构建模型推理一般有三种方式：(1) 使用框架自带的 TensorRT 接口，如 TF-TRT、Torch-TRT；(2) 使用 Parser 前端解释器，如 TF / Torch / ... -> ONNX -> TensorRT；(3) 使用 TensorRT 原生 API 搭建网络。....
极智AI | libtorch调用模型推理方法
大家好，我是极智视界，本文介绍一下 libtorch 调用模型推理方法。之前写了一篇《ubuntu 安装 libtorch》，所以关于 ubuntu 上安装 libtorch 的方法，有兴趣的同学可以自行查看。libtorch 是 pytorch 的 C++ 版本，支持 CPU 端和 GPU 端的模型部署。相较于用 tensorrt 部署 pytorch 模型，用 libtorch的优势在于：p....
极智AI | 教你用C++实现一般模型推理图片预处理模块
大家好，我是极智视界，本文介绍了用 C++ 实现一般模型推理图片预处理的方法，通用性较强。大家知道，对于一个视觉深度学习应用来说，主要会涉及几个流程：视频编解码、图像预处理、模型推理、后处理。这里介绍一下图像预处理的实现。以默认如下配置为例：opencv 读图、宽高均为512、三通道、均值 [0.485, 0.456, 0.406]、方差 [0.229, 0.224, 0.225]、需做归一化、....
ASM集成KServe实现云原生AI模型推理服务
KServe（原KFServing）是云原生环境的一个模型服务器和推理引擎，具备自动缩放、零缩放和金丝雀部署等能力。通过ASM集成KServe，开发人员可以在云原生应用程序中快速部署和管理机器学习模型的推理服务，减少手动配置和维护的工作量，提高开发效率。
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
人工智能平台PAI
人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。
+关注