阿里云文档 2025-09-04

为LLM推理服务配置推理网关智能路由

传统的HTTP请求,经典负载均衡算法可以将请求均匀地发送给不同的工作负载。然而,对于LLM推理服务来说,每个请求给后端带来的负载是难以预测的。推理网关(Gateway with Inference Extension)是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件,它能够通过智能路由优化在多个推理服务工作负载之间的负载均衡性能,根...

阿里云文档 2025-02-20

OpenSearch-LLM智能问答版如何退款

本文介绍OpenSearch-LLM智能问答版支持的退订规则和退订方式。

阿里云文档 2024-12-12

免费体验基于LLM+SQL规则的智能SQL转换领航助手

背景在传统的异构数据库迁移上云场景中,通常存在以下难点和痛点:源/目标两种数据库属于异构数据库,源数据库使用者不一定熟悉如何使用目标数据库及其SQL语法规则。异构数据库之间的SQL语法规则差异,导致在异构数据库迁移前后必须要对SQL语句进行一定的定制化改造,才能保证顺利迁移以及迁移完成后正常使用目标...

阿里云文档 2024-07-22

管控和流量API有哪些授权规则

本文介绍OpenSearch-LLM智能问答版授权规则。

阿里云文档 2024-07-17

实例到期或欠费会有什么影响

本文介绍实例到期或欠费会有什么影响。

问答 2024-07-08 来自:开发者社区

OpenSearch LLM智能问答版可以配合内容安全产品使用吗?(还有一般是以什么方式使用呢?

OpenSearch LLM智能问答版可以配合内容安全产品使用吗?(还有一般是以什么方式使用呢?比如检测知识库、检测输入输出;或者都可以)

问答 2024-07-08 来自:开发者社区

咱们OpenSearch这边的LLM智能问答,使用的是什么大模型和模型算法?

咱们OpenSearch这边的LLM智能问答,使用的是什么大模型和模型算法,大模型和模型算法是否备案?(我们有LLM智能问答的客户在申请网信办的算法备案)

文章 2024-05-10 来自:开发者社区

OpenSearch LLM智能问答版全新升级

阿里云OpenSearch LLM智能问答版是OpenSearch推出的一站式开箱即用的检索增强生成(RAG)云产品,帮助开发者快速构建多模态对话式搜索服务。 自2023年6月上线以来,OpenSearch LLM智能问答版已累计支持了数百家云上客户搭建RAG系统,适用于商品导购、智能客服、企业知识库等众多典型应用场景。随着AI技术日新月异的发展,OpenSearch也在进行能力升级,持...

OpenSearch LLM智能问答版全新升级
问答 2024-02-24 来自:开发者社区

请问OpenSearch这个LLM智能问答版 怎么体验?

请问OpenSearch这个LLM智能问答版 怎么体验? 我问了一个问题 没有返回答案

问答 2024-01-04 来自:开发者社区

OpenSearch LLM智能问答钉钉机器人对接怎么选择模型和自定义扩展参数?

OpenSearch LLM智能问答钉钉机器人对接怎么选择模型和自定义扩展参数?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"kvstore","productCardInfo":{"productTitle":"Tair KVCache","productDescription":"阿里云数据库 Tair KVCache 为 LLM 推理提供分布式动态分级缓存服务,通过软硬协同设计实现智能路由和缓存资源的最优管理,优化 GPU 服务器资源利用率的同时提升 LLM 推理的速度和吞吐性能,实现降本增效。","productContentLink":"https://www.aliyun.com/product/kvcache","isDisplayProductIcon":true,"productButton1":{"productButtonText":"了解详情","productButtonLink":"https://www.aliyun.com/product/kvcache"},"productButton2":{"productButtonText":"立即咨询","productButtonLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.1.66a55ac316TezL"},"productButton3":{"productButtonText":"","productButtonLink":""},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"最新活动","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"邀请试用","productPromotionInfoSecondLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.3.66a55ac316TezL"},{"$id":"1","productPromotionGroupingTitle":"快速入门","productPromotionInfoFirstText":"Tair KVCache 产品介绍","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/redis/product-overview/tair-kvcache?spm=5176.30063692.J_zhz1C6uKKPBvN1fur6xih.1.b87b5ac3Iu5Wen#ef4997358dmto","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""},{"$id":"2","productPromotionGroupingTitle":"产品动态","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"Tair KVCache 推理缓存解决方案","productPromotionInfoSecondLink":"https://developer.aliyun.com/article/1658082"},{"$id":"3","productPromotionGroupingTitle":"产品推荐","productPromotionInfoFirstText":"云数据库 Tair(兼容 Redis®*)","productPromotionInfoFirstLink":"https://www.aliyun.com/product/tair","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}