文章 2024-10-14 来自:开发者社区

LangServe如何革新LLM应用部署?

0 前言 随LLM技术演进,AI应用开发部署越来越复杂。LangServe应运而生,旨在简化AI服务部署和运维的框架。专为LLM部署和管理而设计;本文旨在讲解LangServe的功能特点和实践运用。 1 概述 LangServe 提供一整套将LLM部署成产品服务的解决方案。可将LLM应用链接入常见Python Web框架(如FastAPI、...

LangServe如何革新LLM应用部署?
文章 2024-10-14 来自:开发者社区

企业内训|LLM大模型技术在金融领域的应用及实践-某商业银行分行IT团队

本企业培训是TsingtaoAI技术团队专们为某商业银行分行IT团队开发的LLM大模型技术课程。课程深入分析大模型在金融行业中的发展趋势、底层技术及应用场景,重点提升学员在大模型应用中的实际操作能力与业务场景适应力。通过对全球商用 LLM 产品及国内外技术生态的深度对比,学员将了解大模型在不同企业中的发展路径,掌握如 GPT 系列、Claude 系列、文心一言等大模型的前沿技术。针对金融行业的业....

企业内训|LLM大模型技术在金融领域的应用及实践-某商业银行分行IT团队
文章 2024-09-02 来自:开发者社区

基于阿里云函数计算(FC)x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践

LLM Chat 应用大家应该都不陌生,这类应用也逐渐称为了我们日常的得力助手,如果只是个人使用,那么目前市面上有很多方案可以快速的构建出一个LLM Chat应用,但是如果要用在企业生产级别的项目中,那对整体部署架构,使用组件的性能,健壮性,扩展性要求还是比较高的。本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。 该最佳实...

基于阿里云函数计算(FC)x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
文章 2024-08-16 来自:开发者社区

Xinference实战指南:全面解析LLM大模型部署流程,携手Dify打造高效AI应用实践案例,加速AI项目落地进程

Xinference实战指南:全面解析LLM大模型部署流程,携手Dify打造高效AI应用实践案例,加速AI项目落地进程 Xorbits Inference (Xinference) 是一个开源平台,用于简化各种 AI 模型的运行和集成。借助 Xinference,您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理,并创建强大的 AI 应用。通过 Xorbits Infe.....

Xinference实战指南:全面解析LLM大模型部署流程,携手Dify打造高效AI应用实践案例,加速AI项目落地进程
问答 2024-07-30 来自:开发者社区

如果我实例上需要开发LLM应用部署,这种情况更加适合docker还是直接在实例上开发?

如果我实例上需要开发LLM应用部署,也就是会跑GPU的模型,这种情况更加适合docker还是直接在实例上开发?

文章 2024-07-29 来自:开发者社区

LLM 应用可观测性:从 Trace 视角展开的探索与实践之旅

1. 背景介绍 随着生成式 AI 概念的火爆,以 ChatGPT 为代表,市场上涌现了一系列商用或者开源的大模型,同时基于大语言模型以及 AI 生态技术栈构建的应用以及业务场景也越来越多,大规模的模型训练以及模型推理场景也催生了 MLOps、LLMOps 等相关的岗位需求。如何监控并保障大模型应用上线的性能以及用户体验?如何支持复杂拓扑场景下 LLM 应用领域的链路可视化分析以...

LLM 应用可观测性:从 Trace 视角展开的探索与实践之旅
文章 2024-07-11 来自:开发者社区

LLM代理应用实战:构建Plotly数据可视化代理

如果你尝试过像ChatGPT这样的LLM,就会知道它们几乎可以为任何语言或包生成代码。但是仅仅依靠LLM是有局限的。对于数据可视化的问题我们需要提供一下的内容 描述数据:模型本身并不知道数据集的细节,比如列名和行细节。手动提供这些信息可能很麻烦,特别是当数据集变得更大时。如果没有这个上下文,LLM可能会产生幻觉或虚构列名,从而导致数据可视化中的错误。 样式和偏好:数据可视化是一种艺术形式,每...

LLM代理应用实战:构建Plotly数据可视化代理
文章 2024-07-05 来自:开发者社区

AI Agent框架(LLM Agent):LLM驱动的智能体如何引领行业变革,应用探索与未来展望

AI Agent框架(LLM Agent):LLM驱动的智能体如何引领行业变革,应用探索与未来展望 1. AI Agent(LLM Agent)介绍 1.1. 术语 Agent:“代理” 通常是指有意行动的表现。在哲学领域,Agent 可以是人、动物,甚至是具有自主性的概念或实体。 AI Agent:AI Agent(人工智能代理)是一种能够感知环境、进行决策和执行动作的智能实体...

AI Agent框架(LLM Agent):LLM驱动的智能体如何引领行业变革,应用探索与未来展望
文章 2024-06-23 来自:开发者社区

LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理

LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理 LLM 技术图谱(LLM Tech Map)是将 LLM 相关技术进行系统化和图形化的呈现,此图谱主要特点是“专注于技术人视角”,不求从 LLM 产业角度汇聚信息,而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。 LLM 技术图谱(LLM Tech Map)从基础设施、大模型、Agent、...

LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理
文章 2024-06-12 来自:开发者社区

LLM应用实战:当图谱问答(KBQA)集成大模型(三)

1. 背景 最近比较忙(也有点茫),本qiang~想切入多模态大模型领域,所以一直在潜心研读中... 本次的更新内容主要是响应图谱问答集成LLM项目中反馈问题的优化总结,对KBQA集成LLM不熟悉的客官可以翻翻之前的文章《LLM应用实战:当KBQA集成LLM》、《LLM应用实战:当KBQA集成LLM(二)》。 针对KBQA集成LLM项目,该系列文章主要是通过大模型来代替传...

LLM应用实战:当图谱问答(KBQA)集成大模型(三)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。