文章 2024-09-17 来自:开发者社区

CIKM 2024:LLM蒸馏到GNN,性能提升6.2%!Emory提出大模型蒸馏到文本图

在最近的CIKM 2024会议上,来自Emory大学的研究人员提出了一种新颖的框架,旨在将大型语言模型(LLM)的知识蒸馏到图神经网络(GNN)中,以提升文本图的性能。这项研究的目标是解决在文本图学习中,由于数据稀缺或不可用而导致的训练困难。 文本图(Text-Attri...

文章 2024-09-14 来自:开发者社区

LLM数学性能暴涨168%,微软14人团队力作!合成数据2.0秘诀曝光,智能体生成教学

最近,微软研究团队的一篇新论文引起了广泛关注。这篇论文介绍了一种名为"AgentInstruct"的新型框架,旨在通过生成大量高质量的合成数据来加速语言模型的发展。 论文中提到,合成数据在语言模型的训练过程中变得越来越重要,尤其是对于大型语言模型和小型语言模型来说。然而,尽管合成数据在许多应用中取得了成功&#x...

文章 2024-09-10 来自:开发者社区

OpenVINO™ 加速PC及小型设备LLM性能 | OpenVINO™ DEVCON 2024 第五期

时隔一月,OpenVINO™ DEVCON 中国 · 系列工作坊 2024 如期上新啦! OpenVINO™ DEVCON 中国 · 系列工作坊 2024 汇聚英特尔技术专家及行业领先的技术大咖,通过洞悉行业趋势、分享技术干货、演示 Demo 操作为开发者们提供一个系统进阶与技术提升的平台。 工作坊研讨会将定期举办 三大亮点集结,切勿错过 实时掌握 A...

OpenVINO™ 加速PC及小型设备LLM性能 | OpenVINO™ DEVCON 2024 第五期
阿里云文档 2024-08-26

使用TensorRT-LLM优化大语言模型在GPU上的推理性能

在处理大语言模型任务时,您可以选择在GPU云服务器环境下安装推理引擎TensorRT-LLM,然后通过使用TensorRT-LLM工具实现大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型等)在GPU上的高性能推理优化功能。

文章 2024-08-24 来自:开发者社区

CMU&清华新作:让LLM自己合成数据来学习,特定任务性能同样大幅提升

近年来,大型语言模型(LLMs)在解决各种任务方面展现出了巨大的潜力,尤其是当它们被提供适当的自然语言提示时。然而,尽管LLMs在许多任务上取得了令人印象深刻的性能,但它们在特定任务上的表现往往不如经过大量特定数据微调的模型。 为了解决这个问题,来自卡内基梅隆大学(CMU)...

问答 2024-07-29 来自:开发者社区

我们这边再填写算法备案的内容,请问一下我们OpenSearch LLM智能问答版的算法性能是多少?

我们这边再填写算法备案的内容,请问一下我们OpenSearch LLM智能问答版的算法性能是多少?(比如每秒生成多少字,每秒生成多少图片)

文章 2024-05-05 来自:开发者社区

【大模型】描述一些评估 LLM 性能的技术

评估LLM性能的技术 在评估大语言模型(LLM)的性能时,需要使用一系列的评估指标和技术来衡量模型的表现。这些评估技术包括传统的语言模型评估指标,以及针对特定任务和应用场景设计的评估方法。下面我们将详细分析一些评估LLM性能的技术。 困惑度(Perplexity) 困惑度是评估语言模型性能的一种常用指标,用于衡量模型对输入序列的预测能力。困惑度越低表示模型对输入序列的预测越准确,模型的性能...

【大模型】描述一些评估 LLM 性能的技术
文章 2024-05-01 来自:开发者社区

LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会“图的语言”

在人工智能领域,大语言模型(LLM)的发展一直是研究者们关注的焦点。近年来,随着技术的不断进步,LLM在理解和生成自然语言方面取得了显著的成就。然而,尽管如此,LLM在处理某些复杂任务时仍面临挑战。谷歌在ICLR 2024的一篇研究论文中提出了一种创新的方法,旨在让大语言模型学会理解和...

问答 2024-04-17 来自:开发者社区

在LLM大语言模型如果我开多进程同时调用的话,对性能会有提升吗?

在LLM大语言模型如果我开多进程同时调用的话,对性能会有提升吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

{"cardStyle":"productCardStyle","productCode":"aliyun","productCardInfo":{"productTitle":"文档智能&RAG,让你的AI大模型开启“外挂”之旅","productDescription":"本方案介绍了如何实现将文档智能和检索增强生成(RAG)结合起来构建强大的LLM知识库,包括清洗文档内容、文档内容向量化、问答内容召回后通过特定的Prompt,提供给LLM足够的上下文信息,以此来满足对于企业级文档类型知识库的问答处理。","productContentLink":"https://www.aliyun.com/solution/tech-solution/document-mind-rag-for-llm","isDisplayProductIcon":true,"productButton1":{"productButtonText":"方案详情","productButtonLink":"https://www.aliyun.com/solution/tech-solution/document-mind-rag-for-llm"},"productButton2":{"productButtonText":"一键部署","productButtonLink":"https://help.aliyun.com/document_detail/2845368.html"},"productButton3":{"productButtonText":"查看更多技术解决方案","productButtonLink":"https://www.aliyun.com/solution/tech-solution/"},"productPromotionInfoBlock":[{"$id":"0","productPromotionGroupingTitle":"解决方案推荐","productPromotionInfoFirstText":"10分钟在网站上增加一个 AI 助手","productPromotionInfoFirstLink":"https://www.aliyun.com/solution/tech-solution/add-an-ai-assistant-to-your-website-in-10-minutes","productPromotionInfoSecondText":"10 分钟构建 AI 客服并应用到网站、钉钉或微信中","productPromotionInfoSecondLink":"https://www.aliyun.com/solution/tech-solution/build-a-chatbot-for-your-website-or-chat-system"}],"isOfficialLogo":false},"activityCardInfo":{"activityTitle":"","activityDescription":"","cardContentBackgroundMode":"LightMode","activityContentBackgroundImageLink":"","activityCardBottomInfoSelect":"activityPromotionInfoBlock"}}