阿里云文档 2025-02-25

使用DeepSeek-R1模型搭建RAG系统

DeepSeek-R1系列模型是一款专注于复杂推理任务的大语言模型,在复杂指令理解、推理结果准确性、性能稳定性等方面相比其他大语言模型,有一定优势。OpenSearch LLM智能问答版已集成DeepSeek-R1系列模型,进一步提升企业级RAG效果,本文向您介绍使用步骤。

文章 2025-02-10 来自:开发者社区

首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽音频+文本多模态任务

在大型语言模型(LLM)的迅猛发展中,文本领域已然取得了令人瞩目的成就。然而,音频领域的研究却稍显滞后。为了填补这一空白,Meta AI 研究团队近日提出了一种名为 SpiRit-LM 的新型多模态语言模型,该模型能够自如地处理文本和音频,并在音频理解和生成方面展现出卓越的能力。 SpiRit-LM...

文章 2025-02-05 来自:开发者社区

MILS:无需对LLM进行额外训练就能处理多模态任务,Meta AI提出零样本生成多模态描述方法

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦! 微信公众号|搜一搜:蚝油菜花 快速阅读 MILS 概述:MILS 是 Meta AI 提出的零样本生成高质量多模态描述方法,通过多步推理和迭代优化,实现无需额外训练的多模态任务处理。 主要功能:支...

MILS:无需对LLM进行额外训练就能处理多模态任务,Meta AI提出零样本生成多模态描述方法
阿里云文档 2024-08-30

多模态RAG:打造图文互动的智能问答与电商导购助手

OpenSearch LLM智能问答版集成了数据解析、处理、切片、向量化、文本&向量检索、多模态LLM等模型和功能,支持构建一站式的多模态RAG系统。OpenSearch平台不仅能够处理传统的文本内容,还能有效处理图片和视频等多媒体信息,显著提升了信息检索和服务的质量。本文将为您介绍如何使用OpenSearch LLM智能问答版快速搭建多模态RAG系统。

文章 2024-05-28 来自:开发者社区

LLM 大模型学习必知必会系列(三):LLM和多模态模型高效推理实践

LLM 大模型学习必知必会系列(三):LLM和多模态模型高效推理实践 1.多模态大模型推理 LLM 的推理流程: 多模态的 LLM 的原理: 代码演示:使用 ModelScope NoteBook 完成语言大模型,视觉大模型,音频大模型的推理 环境配置与安装 以下主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行(显存 24G) : 点击模型右侧 ...

LLM 大模型学习必知必会系列(三):LLM和多模态模型高效推理实践
文章 2024-04-29 来自:开发者社区

LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等

LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等 自ChatGPT为代表的大语言模型(Large Language Model, LLM)出现以后,由于其惊人的类通用人工智能(AGI)的能力,掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后,业界涌现了非常多基于LLM.....

LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
文章 2024-01-11 来自:开发者社区

使用CLIP和LLM构建多模态RAG系统

什么是RAG 在人工智能领域,检索增强生成(retrieve - augmented Generation, RAG)作为一种变革性技术改进了大型语言模型(Large Language Models)的能力。从本质上讲,RAG通过允许模型从外部源动态检索实时信息来增强AI响应的特异性。 该体系结构将生成能力与动态检索过程无缝结合,使人工智能能够适应不同领域中不断变化的信息。与微调和再训练不同...

使用CLIP和LLM构建多模态RAG系统
文章 2023-07-02 来自:开发者社区

赋予LLM视觉理解能力,360人工智能研究院开源中文多模态对话模型SEEChat(1)

作者:冷大炜,360 人工智能研究院刚刚过去的 22 年被媒体誉为 “AIGC 元年”,这一年中 AI 绘画和 chatGPT 相继引爆了全球科技界,成为人工智能领域的两大里程碑事件,特别是 chatGPT 的推出,又重新点燃了人们对通用人工智能 AGI 的新一轮期待,chatGPT 所表现出来的前所未有的逻辑能力和推理能力,让众多 AI 领域的专家和研究人员不禁为之赞叹。与此同时,更多的企业和....

赋予LLM视觉理解能力,360人工智能研究院开源中文多模态对话模型SEEChat(1)
文章 2023-07-02 来自:开发者社区

赋予LLM视觉理解能力,360人工智能研究院开源中文多模态对话模型SEEChat(2)

SEEChat v1.0 的训练分为两个阶段:第一阶段是图文对齐训练,使用我们之前开源的高质量中文图文对数据集 Zero [7],总共 2300 万样本进行训练;第二阶段是人机对齐训练,使用 miniGPT4+LLAVA 开源的指令微调数据经英 - 中翻译后,对第一阶段训练好的模型进行指令微调。下图 7~9 是关于 SEEChat v1.0 在图文对话、代码生成和目标分类能力的简单展示。可以看到....

赋予LLM视觉理解能力,360人工智能研究院开源中文多模态对话模型SEEChat(2)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"aliyun","productCardInfo":{"productTitle":"文档智能&RAG,让你的AI大模型开启“外挂”之旅","productDescription":"本方案介绍了如何实现将文档智能和检索增强生成(RAG)结合起来构建强大的LLM知识库,包括清洗文档内容、文档内容向量化、问答内容召回后通过特定的Prompt,提供给LLM足够的上下文信息,以此来满足对于企业级文档类型知识库的问答处理。","productContentLink":"https://www.aliyun.com/solution/tech-solution/document-mind-rag-for-llm","isDisplayProductIcon":true,"productButton1":{"productButtonText":"方案详情","productButtonLink":"https://www.aliyun.com/solution/tech-solution/document-mind-rag-for-llm"},"productButton2":{"productButtonText":"一键部署","productButtonLink":"https://help.aliyun.com/document_detail/2845368.html"},"productButton3":{"productButtonText":"查看更多技术解决方案","productButtonLink":"https://www.aliyun.com/solution/tech-solution/"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"解决方案推荐","productPromotionInfoFirstText":"10分钟在网站上增加一个 AI 助手","productPromotionInfoFirstLink":"https://www.aliyun.com/solution/tech-solution/add-an-ai-assistant-to-your-website-in-10-minutes","productPromotionInfoSecondText":"10 分钟构建 AI 客服并应用到网站、钉钉或微信中","productPromotionInfoSecondLink":"https://www.aliyun.com/solution/tech-solution/build-a-chatbot-for-your-website-or-chat-system"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}