使用ACS GPU算力构建LLM推理服务
容器计算服务 ACS（Container Compute Service）提供了高效、灵活的容器管理和编排能力，为大规模模型的部署与推理提供了强有力的支持。本文介绍如何在ACS上高效利用大模型推理镜像，实现模型服务的快速部署与规模化应用。
使用DeepGPU-LLM镜像构建模型的推理环境
在GPU实例上配置DeepGPU-LLM容器镜像后，可以帮助您快速构建大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）的推理环境，主要应用在智能对话系统、文本分析、编程辅助等自然语言处理业务场景，您无需深入了解底层的硬件优化细节，镜像拉取完成后，无需额外配置即可开箱即用。本文为您介绍如何在GPU实例上使用DeepGPU-LLM容器镜像构建大语言模...
使用ASM回退功能构建高可用的LLM服务
在LLM场景中，业务应用需要对接内部或外部的基础模型服务。服务网格 ASM（Service Mesh）支持同时对接多个基础模型服务，并且可以实现当一个模型服务不可用时，自动回退到另一个模型服务，助力企业实现LLM应用的高可用。本文介绍如何在对接LLM服务时使用流量回退功能。
通过阿里云Milvus和LangChain快速构建LLM问答系统
阿里云向量检索服务 Milvus 版是一款云上全托管服务，确保了与开源Milvus的100%兼容性，并支持无缝迁移。在开源版本的基础上增强了可扩展性，能提供大规模 AI 向量数据的相似性检索服务。相比于自建，目前阿里云Milvus具备易用性、可用性、安全性、低成本与生态优势。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警，阿里云Milvus 云服务成为多样化 AI 应用场景的理想选择，包括....
文档智能和检索增强生成（RAG）——构建LLM知识库
一、体验概述本次体验(文档智能 & RAG让AI大模型更懂业务)活动，特别是其在文档智能和检索增强生成（RAG）结合构建的LLM知识库方面的表现。体验过程中，我们重点关注了文档内容清洗、文档内容向量化、问答内容召回以及通过特定Prompt为LLM提供上下文信息的能力，以判断其是否能够满足企业级文档类型知识库的问答处理需...
前端大模型入门（一）：用 js+langchain 构建基于 LLM 的应用
利用大模型开发应用时，我们有时候要第一时间给出用户相应，也就是使用流式调用的方式。这时候前端处理响应，就需要特殊的处理：利用处理可读流的方式从响应中读取数据。 随着大语言模型（LLM）在各种应用中的广泛使用，如何高效地从服务器获取模型生成的长文本响应成为一个重要问题。传统的HTTP请求模式通常等待...
大模型体验报告：阿里云文档智能 & RAG结合构建LLM知识库
一、体验概述 本次体验(文档智能 & RAG让AI大模型更懂业务)活动，特别是其在文档智能和检索增强生成（RAG）结合构建的LLM知识库方面的表现。体验过程中，我们重点关注了文档内容清洗、文档内容向量化、问答内容召回以及通过特定Prompt为LLM提供上下文信息的能力，以判断其是否能够满足企业级文档类型知识库的问答处理...
快速构建企业智能门户，销售额倍增，人才触手可及 - 爬虫 + RAG + LLM
随着企业数字化转型的推进，智能化和高效服务成为企业竞争力的关键。我们设计了一款基于大模型的智能企业门户接待系统，利用先进的AI技术，只需粘贴您的门户主页便能自动构建智能虚拟接待员，帮助企业实现更高效的客户支持、产品推荐和人才招聘。这一系统不仅提高客户体验，还有效促进销售转化与人才获取。 一 背景介绍 背景：大部分公司拥有复杂的门户网站，...
基于阿里云函数计算（FC）x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
LLM Chat 应用大家应该都不陌生，这类应用也逐渐称为了我们日常的得力助手，如果只是个人使用，那么目前市面上有很多方案可以快速的构建出一个LLM Chat应用，但是如果要用在企业生产级别的项目中，那对整体部署架构，使用组件的性能，健壮性，扩展性要求还是比较高的。本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。 该最佳实...
Vellum 构建高质量的大型语言模型（LLM）
关于Vellum Vellum是一个开发者平台，用于构建高质量的大型语言模型（LLM）应用程序。该平台提供了一系列一流的工具，用于： Prompt Engineering（提示词工程）：设计和优化与LLM交互的提示词。 单元测试：在生产环境之前对提示词进行测试。 回归测试：在生产环境中监控和测试提示词变更。 监控：监控生产环境中的模型表现。 版本控制：管理提示词的不同版本。 模...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。