文章 2025-10-06 来自:开发者社区

向量存储vs知识图谱:LLM记忆系统技术选型

LLM本质上是无状态的,如果你了解HTTP协议就很好理解这个概念,但是如果你没接触过这,那么可以理解成它们没有短期记忆能力,每次和LLM交互,都得把之前的对话重新喂给它。 短期记忆或者说状态管理其实很好处理,拿几组历史问答塞进prompt就行了。但是如果是长期记忆呢? 要让LLM准确提取历史信息、理解过往对话并建立信息关联,需要相当复杂的系统架构。 本文会从问题本身出发,看看构建高效记忆系统需要....

向量存储vs知识图谱:LLM记忆系统技术选型
文章 2025-10-03 来自:开发者社区

72_监控仪表盘:构建LLM开发环境的实时观测系统

1. 引言:LLM开发中的监控挑战 在2025年的大模型(LLM)开发实践中,实时监控已成为确保模型训练效率和生产部署稳定性的关键环节。与传统软件开发不同,LLM项目面临着独特的监控挑战: 训练过程复杂:LLM训练周期长、资源消耗大,需要实时监控训练进度、损失函数变化、资源利用率等关键指标实验迭代频繁࿱...

72_监控仪表盘:构建LLM开发环境的实时观测系统
文章 2025-09-27 来自:开发者社区

告别只会写提示词:构建生产级LLM系统的完整架构图​

本文较长,建议点赞收藏,以免遗失。 很多人一听到 LLM 就只想到“提示词工程”。认为写好prompt就够了,可当你去面试AI产品经理岗位时,你才会发现远不止“写提示词”这么简单。对于企业生产级系统要求工程化、部署、优化与可观测性形成闭环,否则模型在真实场景里很容易翻车。今天我将总结一下掌握LLM产品的实现路径。 一、提示词...

告别只会写提示词:构建生产级LLM系统的完整架构图​
阿里云文档 2025-09-12

Dify+ADB Supabase+LLM实现AI客服系统

本文介绍如何使用Dify、云原生数据仓库AnalyticDB PostgreSQL版的Supabase和LLM构建一个AI客服系统,帮助在线服装店高效处理售后咨询、订单查询和个性化回复。通过结合Dify的工作流能力、Supabase的实时数据存储与LLM的自然语言理解能力,实现快速自动化响应,显著减轻人工客服压力并提升客户满意度。

文章 2025-08-07 来自:开发者社区

论文解读:单个标点符号如何欺骗LLM,攻破AI评判系统

可验证奖励强化学习(Reinforcement Learning with Verifiable Rewards, RLVR)是一种基于参考标准的训练范式,其核心在于通过基于规则的函数或生成式LLM评判器来提供奖励信号。在RLVR训练过程中,奖励模型接收问题q、策略模型生成的响应r以及参考答案a∗作为输入,输出二进制判决信号y ∈{YES, NO},用于评估响应r在给定问题q的条件下是否与参考答....

论文解读:单个标点符号如何欺骗LLM,攻破AI评判系统
文章 2025-07-20 来自:开发者社区

AI-Compass LLM评估框架:CLiB中文大模型榜单、OpenCompass司南、RAGas、微软Presidio等构建多维度全覆盖评估生态系统

AI-Compass LLM评估框架:CLiB中文大模型榜单、OpenCompass司南、RAGas、微软Presidio等构建多维度全覆盖评估生态系统 AI-Compass 致力于构建最全面、最实用、最前沿的AI技术学习和实践生态,通过六大核心模块的系统化组织,为不同层次的学习者和开发者提供从完整学习路径。 github地址:AI-Compass:https://github.com/ti...

 AI-Compass LLM评估框架:CLiB中文大模型榜单、OpenCompass司南、RAGas、微软Presidio等构建多维度全覆盖评估生态系统
文章 2025-01-07 来自:开发者社区

TransferTOD:利用LLM解决TOD系统在域外场景槽位难以泛化的问题

任务型对话系统旨在高效处理任务导向的对话,如何利用任务型对话系统准确、高效、合理地完成信息采集的工作一直是一项关键且具有挑战性的任务。目前的槽位填充数据集大多服务于用户主导型系统,往往会局限于预设好的特定场景和特定槽位。而在“客服-用户”信息收集这一系统主导型的对话场景中,需要填充的槽位与槽位值往往是陌生的,填槽的准确率会严重下降,系统也无法根据槽位填充的情况提出准确的问题引导用户回答,完成下一....

TransferTOD:利用LLM解决TOD系统在域外场景槽位难以泛化的问题
文章 2024-11-14 来自:开发者社区

万字干货|复杂表格多Agent方案:从LLM洞察、系统性 思考到实践经验总结

一、前言2022年11月,ChatGPT平地一声雷,开启了“大模型+”时代,为整个AI软件市场带来了无限商机,据ARK Invest的首席未来学家Brett Winton预测,到2030年左右,AI软件市场的市场总值将达到13万亿美元(当前,全球IT支出为4+万亿美元&...

万字干货|复杂表格多Agent方案:从LLM洞察、系统性 思考到实践经验总结
文章 2024-11-10 来自:开发者社区

政务培训|LLM大模型在政府/公共卫生系统的应用

本课程是TsingtaoAI公司面向某卫生统计部门的政府职员设计的大模型技术应用课程,旨在系统讲解大语言模型(LLM)的前沿应用及其在政府业务中的实践落地。课程涵盖从LLM基础知识到智能化办公、数据处理、报告生成、智能问答系统构建等多个模块,全面解析大模型在卫生统计数据分析、报告撰写和决策支持等环节中的赋能价值。通过理论与实操结合,学员将学习如何利用LLM技术提升数据处理效率,优化报告编写流程,....

文章 2024-10-22 来自:开发者社区

MemoryScope:为LLM聊天机器人配备的长期记忆系统

01 前言 记忆连接着人的过去与现在,塑造着人的身份和经验。每个人的记忆都是独一无二的,记忆存储着经历和知识,帮助人类不断提升与突破自我。如果在生活工作中,能有一个AI助手能像朋友一样,记住我们的喜好、习惯,甚至是微小的细节,提高工作效率必不在话下。 面对当下RAG( Retrieval-Augmented Generation)与各类Memory Manage...

MemoryScope:为LLM聊天机器人配备的长期记忆系统

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"kvstore","productCardInfo":{"productTitle":"Tair KVCache","productDescription":"阿里云数据库 Tair KVCache 为 LLM 推理提供分布式动态分级缓存服务,通过软硬协同设计实现智能路由和缓存资源的最优管理,优化 GPU 服务器资源利用率的同时提升 LLM 推理的速度和吞吐性能,实现降本增效。","productContentLink":"https://www.aliyun.com/product/kvcache","isDisplayProductIcon":true,"productButton1":{"productButtonText":"了解详情","productButtonLink":"https://www.aliyun.com/product/kvcache"},"productButton2":{"productButtonText":"立即咨询","productButtonLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.1.66a55ac316TezL"},"productButton3":{"productButtonText":"","productButtonLink":""},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"最新活动","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"邀请试用","productPromotionInfoSecondLink":"https://page.aliyun.com/form/act176452088/index.htm?spm=5176.30063692.J__Z58Z6CX7MY__Ll8p1ZOR.3.66a55ac316TezL"},{"$id":"1","productPromotionGroupingTitle":"快速入门","productPromotionInfoFirstText":"Tair KVCache 产品介绍","productPromotionInfoFirstLink":"https://help.aliyun.com/zh/redis/product-overview/tair-kvcache?spm=5176.30063692.J_zhz1C6uKKPBvN1fur6xih.1.b87b5ac3Iu5Wen#ef4997358dmto","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""},{"$id":"2","productPromotionGroupingTitle":"产品动态","productPromotionInfoFirstText":"","productPromotionInfoFirstLink":"","productPromotionInfoSecondText":"Tair KVCache 推理缓存解决方案","productPromotionInfoSecondLink":"https://developer.aliyun.com/article/1658082"},{"$id":"3","productPromotionGroupingTitle":"产品推荐","productPromotionInfoFirstText":"云数据库 Tair(兼容 Redis®*)","productPromotionInfoFirstLink":"https://www.aliyun.com/product/tair","productPromotionInfoSecondText":"","productPromotionInfoSecondLink":""}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}