72_监控仪表盘：构建LLM开发环境的实时观测系统
1. 引言：LLM开发中的监控挑战 在2025年的大模型(LLM)开发实践中，实时监控已成为确保模型训练效率和生产部署稳定性的关键环节。与传统软件开发不同，LLM项目面临着独特的监控挑战： 训练过程复杂：LLM训练周期长、资源消耗大，需要实时监控训练进度、损失函数变化、资源利用率等关键指标实验迭代频繁...
SLS Copilot 实践：基于 SLS 灵活构建 LLM 应用的数据基础设施
作者：顾汉杰（执少） "纸上得来终觉浅，绝知此事要躬行。" —— 陆游 在 LLM 应用快速发展的今天，我们往往专注于模型调优和功能实现，却忽略了一个关键问题： 如何有效地监控、诊断和优化线上运行的 LLM 应用？ 本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践，展示如何基于阿里云 SLS 打造一套完...
告别只会写提示词：构建生产级LLM系统的完整架构图
本文较长，建议点赞收藏，以免遗失。 很多人一听到 LLM 就只想到“提示词工程”。认为写好prompt就够了，可当你去面试AI产品经理岗位时，你才会发现远不止“写提示词”这么简单。对于企业生产级系统要求工程化、部署、优化与可观测性形成闭环，否则模型在真实场景里很容易翻车。今天我将总结一下掌握LLM产品的实现路径。 一、提示词...
使用DeepSeek-R1模型搭建RAG系统
DeepSeek-R1系列模型是一款专注于复杂推理任务的大语言模型，在复杂指令理解、推理结果准确性、性能稳定性等方面相比其他大语言模型，有一定优势。OpenSearch LLM智能问答版已集成DeepSeek-R1系列模型，进一步提升企业级RAG效果，本文向您介绍使用步骤。
构建高性能LLM推理服务的完整方案：单GPU处理172个查询/秒、10万并发仅需15美元/小时
在构建智能代理、检索增强生成（RAG）系统或大语言模型应用时，核心组件往往是通过API访问的大语言模型（LLM）。专业的服务提供商通过模型优化技术实现高效且可扩展的推理服务。 这些优化技术主要包括权重量化（W4A16、W4A8等）、键值缓存（KV Cache）、推测解码（Speculative Decoding）等推理时优化方法。在部署层面，Kubernetes Pod调度和Docker容器化技....
通过Milvus和Langchain快速构建基于百炼大模型的LLM问答系统
本文主要演示了如何使用 Milvus 和 LangChain 快速构建一个基于阿里云百炼大模型的 LLM 问答系统。 前期准备 服务开通 本文采用的Embedding模型为阿里云百炼平台的 通用文本向量-v2，采用的LLM为 通义千问-Max-Latest。本文相关的API-KEY可在百炼平台进行创建。更多Embedding和LLM模型的支持可以参照...
36.7K star！拖拽构建AI流程，这个开源LLM应用框架绝了！
嗨，大家好，我是小华同学，关注我们获得“最新、最全、最优质”开源项目和高效工作学习方法 只需拖拽节点，5分钟搭建专属AI工作流！ Flowise 是一款革命性的低代码LLM应用构建工具，开发者通过可视化拖拽界面，就能快速搭建基于大语言模型的智能工作流。该项目在...
使用ASM回退功能构建高可用的LLM服务
在LLM场景中，业务应用需要对接内部或外部的基础模型服务。服务网格 ASM（Service Mesh）支持同时对接多个基础模型服务，并且可以实现当一个模型服务不可用时，自动回退到另一个模型服务，助力企业实现LLM应用的高可用。本文介绍如何在对接LLM服务时使用流量回退功能。
通过阿里云Milvus和LangChain快速构建LLM问答系统
阿里云向量检索服务 Milvus 版是一款云上全托管服务，确保了与开源Milvus的100%兼容性，并支持无缝迁移。在开源版本的基础上增强了可扩展性，能提供大规模 AI 向量数据的相似性检索服务。相比于自建，目前阿里云Milvus具备易用性、可用性、安全性、低成本与生态优势。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警，阿里云Milvus 云服务成为多样化 AI 应用场景的理想选择，包括....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。