云原生数据仓库 AnalyticDB PostgreSQL版检索的相关内容

返回频道云原生数据仓库 AnalyticDB PostgreSQL版检索

文章 2024-10-12 来自：开发者社区

LangChain-24 Agengts 通过TavilySearch Agent实现检索内容并回答 AgentExecutor转换Search 借助Prompt Tools工具

安装依赖 pip install -qU langchain-core langchain-openai • 1 ...

文章 2024-10-12 来自：开发者社区

LangChain-22 Text Embedding 续接21节文本切分后对文本进行embedding向量化处理后续可保存到向量数据库后进行检索从而扩展大模型的能力

背景描述介绍Embedding Text Embedding在大模型中的应用是一个重要的技术，它涉及到将高维度的数据（如文本）映射到低维度空间的过程。这一过程不仅有助于减少数据处理的复杂性，还能够捕捉和表达数据的语义信息。在自然语言处理（NLP）和机器学习领域，Text Embedding是实现文本分类、情感分析、机器翻译等任务的基础。工作原理 Te...

文章 2024-10-12 来自：开发者社区

LangChain-21 Text Splitters 内容切分器支持多种格式 HTML JSON md Code(JS/Py/TS/etc) 进行切分并输出方便将数据进行结构化后检索

背景介绍 LangChain提供了多种类型的Text Splitters，以满足不同的需求： RecursiveCharacterTextSplitter：基于字符将文本划分，从第一个字符开始。如果结果片段太大，则继续划分下一个字符。这种方式提供了定义划分字符和片段大小的灵活性。 CharacterTextSplitter：类似于RecursiveCharact...

文章 2024-10-11 来自：开发者社区

LangChain-20 Document Loader 文件加载加载MD DOCX EXCEL PPT PDF HTML JSON 等多种文件格式后续可通过FAISS向量化增强检索

背景描述 LangChain 提供了多种文档加载器，包括但不限于以下几种： TextLoader：用于从各种来源加载文本数据。 CSVLoader：用于加载 CSV 文件并将其转换为 LangChain 可以处理的文档格式。 UnstructuredFileLoader：能够自动检测并处理不同格式的文件。 DirectoryLoader：用于加载...

文章 2024-10-11 来自：开发者社区

LangChain-15 Manage Prompt Size 管理上下文大小，用Agent的方式询问问题，并去百科检索内容，总结后返回

背景描述这一节内容比较复杂：涉及到使用工具进行百科的检索（有现成的插件）有AgentExecutor来帮助我们执行后续由于上下文过大，我们通过计算num_tokens，来控制我们的上下文安装依赖 pip ins...

文章 2024-10-11 来自：开发者社区

LangChain-13 Memory 通过 ConversationBufferMemory 记录会话的上下文并在对话中自动检索

问题背景平常我们的任务都是一次性会话，大模型是不会记录你的上下文的。如果我们要进行持续会话，或者希望大模型有记忆的话，我们需要对上下文进行管理。但这个过程是比较复杂的，LangChain 提供了一系列的工具来帮助我们简化过程。安装依赖 pip install --up...

文章 2024-10-11 来自：开发者社区

LangChain-06 RAG With Source Doc 通过文档进行检索增强

安装依赖 pip install --upgrade --quiet langchain-core langchain-community langchain-openai ...

文章 2024-10-11 来自：开发者社区

LangChain-05 RAG Conversational 增强检索会话

安装依赖 pip install --upgrade --quiet langchain-core langchain-community langchain-openai ...

文章 2024-10-11 来自：开发者社区

LangChain-04 RAG Retrieval-Augmented Generation 检索增强生成

内容简介 LangChain 中的 “RAG” 指的是 “Retrieval-Augmented Generation”，即检索增强生成。它是一种结合了检索（从大量数据中检索相关信息）和生成（基于检索到的信息生成文本）的技术，旨在改善和增强自然语言生成模型的性能。通过检索相关的信息作为输入，模型能够生成更准确、更丰富和更具相关性的输出。我们可以将： ...