文章 2024-10-26 来自:开发者社区

高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】

本文由 简悦 SimpRead 转码, 原文地址 blog.csdn.net 高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】 检索增强生成 (RAG) 是一种强大的技术,它将信息检索与生成式 AI 相结合,以产生更准确、上下文更丰富的响应。本文将探讨 15 种高级 RAG 技术,以提高生成式 AI 系统的输出质量和整体性能的鲁棒性。这样做使本.....

高级 RAG 技术:提升生成式 AI 系统输出质量与性能鲁棒性【预检索、检索、检索后、生成优化等】
文章 2024-01-20 来自:开发者社区

带你读《弹性计算技术指导及场景应用》——1. 技术改变AI发展:CUDA Graph优化的底层原理分析

简介:随着人工智能(AI)的迅速发展,越来越多的应用需要巨大的GPU计算资源。CUDA是一种并行计算平台和编程模型,由Nvidia推出,可利用GPU的强大处理能力进行加速计算。CUDA 异步执行模型对于GPU运算集中的AI应用场景,为了提升系统的性能,最大化地利用GPU资源是一个重要的优化方向。比较常用的方式是尽量将GPU运算转换为异步操作,CPU侧负责任务提交,保证有足够的cuda kerne....

带你读《弹性计算技术指导及场景应用》——1. 技术改变AI发展:CUDA Graph优化的底层原理分析
文章 2024-01-20 来自:开发者社区

带你读《弹性计算技术指导及场景应用》——2. 技术改变AI发展:RDMA能优化吗?GDR性能提升方案

简介:随着人工智能(AI)的迅速发展,越来越多的应用需要巨大的GPU计算资源。GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术,可以让使用pcie标准的gpu和第三方设备进行直接的数据交换,而不涉及CPU。背景:GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术,可以让使用pcie标准的gpu和第三....

带你读《弹性计算技术指导及场景应用》——2. 技术改变AI发展:RDMA能优化吗?GDR性能提升方案
文章 2023-12-13 来自:开发者社区

技术改变AI发展:RDMA能优化吗?GDR性能提升方案(GPU底层技术系列二)

背景GPUDirect RDMA 是 Kepler 级 GPU 和 CUDA 5.0 中引入的一项技术,可以让使用pcie标准的gpu和第三方设备进行直接的数据交换,而不涉及CPU。传统上,当数据需要在 GPU 和另一个设备之间传输时,数据必须通过 CPU,从而导致潜在的瓶颈并增加延迟。使用 GPUDirect,网络适配器和存储驱动器可以直接读写 GPU 内存,减少不必要的内存消耗,减少 CPU....

技术改变AI发展:RDMA能优化吗?GDR性能提升方案(GPU底层技术系列二)
文章 2023-12-11 来自:开发者社区

技术改变AI发展:CUDA Graph优化的底层原理分析(GPU底层技术系列一)

CUDA 异步执行模型对于GPU运算集中的AI应用场景,为了提升系统的性能,最大化地利用GPU资源是一个重要的优化方向。比较常用的方式是尽量将GPU运算转换为异步操作,CPU侧负责任务提交,保证有足够的cuda kernel发送到GPU,GPU按照CUDA Stream流队列中的Kernel顺序执行。只要这中间不存在同步操作,GPU完全可以不用等待,顺序地将所有的kernel执行完,然后再通知C....

技术改变AI发展:CUDA Graph优化的底层原理分析(GPU底层技术系列一)
文章 2022-11-15 来自:开发者社区

技术解读倚天 ECS 实例——Arm 芯片的 Python-AI 算力优化 | 龙蜥技术

深度学习技术在图像识别、搜索推荐等领域得到了广泛应用。近年来各大 CPU 厂商也逐渐把 AI 算力纳入了重点发展方向,通过《Arm 芯片 Python-AI 算力优化》我们将看到龙蜥社区 Arm 架构 SIG(Special Interest Group) 利用最新的 Arm  指令集优化 Python-AI 推理 workload 的性能。倚天ECS实例的AI推理软件优化阿里云推出的....

技术解读倚天 ECS 实例——Arm 芯片的 Python-AI 算力优化 | 龙蜥技术

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"aliyun","productCardInfo":{"productTitle":"阿里云 AI","productDescription":"从 AI 应用构建,模型部署到训练,一站式了解阿里云经典的 AI 应用场景和解决方案。","productContentLink":"https://www.aliyun.com/solution/tech-solution/ai","isDisplayProductIcon":true,"productButton1":{"productButtonText":"查看详情","productButtonLink":"https://www.aliyun.com/solution/tech-solution/ai"},"productButton2":{"productButtonText":"联系 AI 专家","productButtonLink":"https://page.aliyun.com/form/act933288178/index.htm?spm=5176.29311086.J_RY_4Q8--sru4dMV7o3lqS.2.22ec5297YL7w86"},"productButton3":{"productButtonText":"立即体验","productButtonLink":"https://bailian.console.aliyun.com/?spm=5176.28326591.0.0.56136ee1bpor89#/efm/model_experience_center"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"热门体验","productPromotionInfoFirstText":"文生文应用","productPromotionInfoFirstLink":"https://bailian.console.aliyun.com/?spm=5176.29311086.J__xR9sQs7AmaTHLBTgN3VS.1.22ec52978mJi5p#/home","productPromotionInfoSecondText":"文生图应用","productPromotionInfoSecondLink":"https://bailian.console.aliyun.com/?spm=5176.29311086.J__xR9sQs7AmaTHLBTgN3VS.2.22ec52978mJi5p#/efm/model_experience_center?modelId=wanx-v1"},{"$id":"1","productPromotionGroupingTitle":"热门产品","productPromotionInfoFirstText":"大模型服务平台百炼","productPromotionInfoFirstLink":"https://www.aliyun.com/product/bailian","productPromotionInfoSecondText":"人工智能平台 PAI","productPromotionInfoSecondLink":"https://www.aliyun.com/product/bigdata/learn"},{"$id":"2","productPromotionGroupingTitle":"技术解决方案","productPromotionInfoFirstText":"向量检索与通义千问搭建专属问答服务","productPromotionInfoFirstLink":"https://www.aliyun.com/solution/tech-solution/dashvector","productPromotionInfoSecondText":"创意加速器:AI 绘画创作","productPromotionInfoSecondLink":"https://www.aliyun.com/solution/tech-solution/tongyi-wanxiang"},{"$id":"3","productPromotionGroupingTitle":"热门模型","productPromotionInfoFirstText":"通义千问","productPromotionInfoFirstLink":"https://tongyi.aliyun.com","productPromotionInfoSecondText":"通义万相","productPromotionInfoSecondLink":"https://tongyi.aliyun.com/wanxiang"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock","activityPromotionInfoBlock":[]}}

人工智能平台PAI

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

+关注