文章 2024-06-26 来自:开发者社区

开源模型破局OpenAI服务限制,15分钟灵活搭建RAG和Agent应用

实验一 实验目标:Qwen2+Ollama+LlamaIndex实现RAG应用 实验时长:15分钟 运行设备:Mac,CPU,GPU均可 环境安装: pip install llama-index llama_index.llms.ollama llam...

开源模型破局OpenAI服务限制,15分钟灵活搭建RAG和Agent应用
文章 2024-03-30 来自:开发者社区

GitHub Copilot 与 OpenAI ChatGPT 的区别及应用领域比较

GitHub Copilot 和 OpenAI ChatGPT 都是近年来颇受关注的人工智能项目,它们在不同领域中的应用继续引发热议。本文旨在分析和比较这两个项目的区别,从技术原理、应用场景、能力和限制、输出结果、能力与限制和发展前景等方面进行综合评估,帮助读者更好地了解这两个项目的特点和适用性。 一、简介  GitHub Copilot: ...

文章 2023-09-12 来自:开发者社区

摆脱 OpenAI 依赖,8 分钟教你用开源生态构建全栈 AI 应用

大模型时代的到来使得 AI 应用开发变得更加轻松、省时,尤其是在 CVP Stack 的范式下,开发者甚至可以用一个周末的时间做出一个完整的应用程序。本文将应用理论于实践,给大家演示如何利用 Milvus、Xinference、Llama 2-70B 开源模型和 LangChain,构筑出一个全功能的问答系统。Xinference 使得本地部署 Llama 2 模型变得简洁高效,而 Milvus....

摆脱 OpenAI 依赖,8 分钟教你用开源生态构建全栈 AI 应用
文章 2023-05-25 来自:开发者社区

关于Prompt Engineering你该了解啥?OpenAI应用研究负责人帮你梳理了(2)

增强语言模型[Mialon et al. (2023) ] 对增强语言模型进行的一项调查。涵盖了多类增强推理技能和使用外部工具能力的语言模型。推荐读者可以读一下。检索通常,我们需要在模型预训练时间截止或内部 / 私有知识库之后,完成需要最新知识的任务。在这种情况下,如果不在 prompt 中显式提供上下文,模型将不知道上下文。开放领域问答的许多方法都依赖于首先在知识库上进行检索,然后将检索到的内....

关于Prompt Engineering你该了解啥?OpenAI应用研究负责人帮你梳理了(2)
文章 2023-05-25 来自:开发者社区

关于Prompt Engineering你该了解啥?OpenAI应用研究负责人帮你梳理了(1)

关于Prompt Engineering你该了解啥?OpenAI应用研究负责人帮你梳理了机器之心 2023-04-22 12:21 发表于北京选自Lil’Log机器之心编译编辑:rome rome随着 ChatGPT、GPT-4 等模型的兴起,人们对如何创建提示以获得想要的输出越来越感兴趣。研究者对特定提示的响应可能很难预测,并且会因模型的不同而不同。本文来自 OpenAI 的翁丽莲(Lilia....

关于Prompt Engineering你该了解啥?OpenAI应用研究负责人帮你梳理了(1)
文章 2023-05-22 来自:开发者社区

为内存塞不下Transformer犯愁?OpenAI应用AI研究负责人写了份指南(3)

为了更好地处理长序列数据,Scaling Transformer 进一步配备了来自 Reformer 的 LSH(局部敏感哈希)注意力和 FFN 块循环,从而产生了 Terraformer 模型。混合专家系统 MoE专家混合系统 (MoE) 模型是一种专家网络的集合,每个样本仅激活网络的一个子集来获得预测结果。这个想法起源于上世纪九十年代并且与集成方法密切相关。有关如何将 MoE 模块合并到 T....

为内存塞不下Transformer犯愁?OpenAI应用AI研究负责人写了份指南(3)
文章 2023-05-22 来自:开发者社区

为内存塞不下Transformer犯愁?OpenAI应用AI研究负责人写了份指南(2)

为了推动 N:M 结构稀疏化,需要将一个矩阵的列拆分为 M 列的多个 slide(也称为 stripe),这样可以很容易地观察到每个 stripe 中的列顺序和 stripe 的顺序对 N:M 稀疏化产生的限制。Pool 和 Yu 提出了一种迭代式的贪心算法来寻找最优排列,使 N:M 稀疏化的权重幅度最大化。所有通道对都被推测性地交换,并且只采用幅度增加最大的交换,然后生成新的排列并结束单次迭代....

为内存塞不下Transformer犯愁?OpenAI应用AI研究负责人写了份指南(2)
文章 2023-05-22 来自:开发者社区

为内存塞不下Transformer犯愁?OpenAI应用AI研究负责人写了份指南(1)

本文是一篇综述性的博客,探讨总结当下常用的大型 transformer 效率优化方案。大型 Transformer 模型如今已经成为主流,为各种任务创造了 SOTA 结果。诚然这些模型很强大,但训练和使用起来代价非常昂贵。在时间和内存方面存在有极高的推理成本。概括来说,使用大型 Transformer 模型进行推理的难点,除了模型的规模不断扩大外,还有两个不可忽略的地方:内存消耗大:推理时,需要....

为内存塞不下Transformer犯愁?OpenAI应用AI研究负责人写了份指南(1)
文章 2022-12-26 来自:开发者社区

真实世界的人工智能应用落地——OpenAI篇 ⛵

作者:韩信子@ShowMeAI 深度学习实战系列:https://www.showmeai.tech/tutorials/42 本文地址:https://www.showmeai.tech/article-detail/414 声明:版权所有,转载请联系平台与作者并注明出处 收藏ShowMeAI查看更多精彩内容 简介AI 以迅速的发展,不仅仅在研究界带来了革新,在生活的方方面面也提供智能化,使.....

真实世界的人工智能应用落地——OpenAI篇 ⛵

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。