文章 2024-07-09 来自:开发者社区

8B尺寸达到GPT-4级性能!北大等提出医疗专家模型训练方法

近年来,大语言模型(LLMs)在各个领域的应用越来越广泛,但随着模型的不断发展和应用场景的不断变化,对模型的持续预训练(continual pre-training)的需求也日益增加。持续预训练是指对已经预训练好的LLMs进行进一步的训练,以适应新领域或新任务的需求。然而,...

文章 2024-06-16 来自:开发者社区

马斯克推出Grok-1.5,接近GPT-4级别的性能

本文来自 企业网D1net公众号 在开放源码Grok-1短短几周后,马斯克的xAI推出了其专有大型语言模型的升级版本——Grok-1.5。 定于下周发布的Grok-1.5带来了增强的推理和解决问题的能力,并接近于已知的开源和闭源的LLM的性能,包括OpenAI的GPT-4和Anthropic的Claude 3。它也能够处理长文本,但在上下文窗口大小方面仍落后于...

文章 2023-08-07 来自:开发者社区

GPT-4使用混合大模型?研究证明MoE+指令调优确实让大模型性能超群

谷歌、UC 伯克利等证明 MoE + 指令调优起到了 1 + 1 > 2 的效果。自 GPT-4 问世以来,人们一直惊艳于它强大的涌现能力,包括出色的语言理解能力、生成能力、逻辑推理能力等等。这些能力让 GPT-4 成为机器学习领域最前沿的模型之一。然而,OpenAI 至今未公开 GPT-4 的任何技术细节。上个月,「...

GPT-4使用混合大模型?研究证明MoE+指令调优确实让大模型性能超群
文章 2023-07-28 来自:开发者社区

GPT-4 性能炸天:10 秒做出一个网站,在考试中击败 90% 人类

一、GPT-4,吊打ChatGPT!一觉醒来,万众期待的 GPT-4,它来了!OpenAI老板Sam Altman直接开门见山地介绍道:这是我们迄今为止功能最强大的模型!二、GPT-4,新功能一览究竟有多强?GPT-4:gpt-401、接受图像输入ÿ...

GPT-4 性能炸天:10 秒做出一个网站,在考试中击败 90% 人类
文章 2023-07-02 来自:开发者社区

「羊驼」们走到哪一步了?研究表明:最好的能达到GPT-4性能的68%

开源 VS 闭源,哪边的大语言模型更能打?最近,大型语言模型获得了前所未有的关注度。在更迭迅速的情况下,开源模型与闭源模型的发展并驾齐驱,同时呈现百花齐放的态势。但仍然令大家好奇的是,开源大模型和闭源大模型,哪一边实力更强?又该如何对比?近日,在推特上&#x...

「羊驼」们走到哪一步了?研究表明:最好的能达到GPT-4性能的68%
文章 2023-06-29 来自:开发者社区

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议

Game Changer 还是标题党?随着大型语言模型(LLM)的发展,人工智能正处于变革的爆发期。众所周知,LLM 可用于商业、科学和金融等应用,因而越来越多的公司(OpenAI、AI21、CoHere 等)都在提供 LLM 作为基础服务。虽然像 GPT-4 这样的 LLM 在问答等...

GPT-4 API平替?性能媲美同时成本降低98%,斯坦福提出FrugalGPT,研究却惹争议
文章 2023-05-25 来自:开发者社区

表现优于 GPT-4,ChemCrow 集成 13 种化学工具,增强大型语言模型的化学性能

编辑 | 紫罗最近,大型语言模型 (LLM) 在各种跨领域任务中表现出强大的性能,但在处理化学相关的问题上却举步维艰。此外,LLM 缺乏外部知识来源,限制了其在科学研究中的应用。来自洛桑联邦理工学院(EPFL)和罗切斯特大学的研究人员开发了 ChemCrow,一种 LLM 化学智能体,...

表现优于 GPT-4,ChemCrow 集成 13 种化学工具,增强大型语言模型的化学性能
文章 2023-05-25 来自:开发者社区

首次:微软用GPT-4做大模型指令微调,新任务零样本性能再提升

编辑:杜伟、陈萍大模型指令微调水平在不断地提高,这次微软用上了 GPT-4。 我们知道,从谷歌 T5 模型到 OpenAI GPT 系列大模型,大语言模型(LLMs)已经展现出了令人印象深刻的泛化能力,比如上下文学习和思维链推理。同时为了使得 LLMs 遵循自然语言指令和完成真实世界任务࿰...

首次:微软用GPT-4做大模型指令微调,新任务零样本性能再提升
文章 2023-05-25 来自:开发者社区

当GPT-4反思自己错了:性能提升近30%,编程能力提升21%

GPT-4 的思考方式,越来越像人了。人类在做错事时,会反思自己的行为,避免再次出错,如果让 GPT-4 这类大型语言模型也具备反思能力,性能不知道要提高多少了。众所周知,大型语言模型 (LLM) 在各种任务上已经表现出前所未有的性能。然而,这些 SOTA 方法通常需要对已定义的状态空间进行模型微调...

当GPT-4反思自己错了:性能提升近30%,编程能力提升21%
文章 2023-05-19 来自:开发者社区

将GPT家族模型极限压缩,1700+亿参数稀疏性达50%性能不减,单GPU即可

机器之心编译编辑:袁铭怿我们可以压缩大型语言模型以获得更好的性能吗?本文中,研究者提出了剪枝技术 SparseGPT,可以一次性修剪至少 50% 的稀疏性,而无需任何重新训练,并且准确率损失最小。GPT 家族的大型语言模型(LLMs)在诸多任务中取得了出色的表现,但模型庞...

将GPT家族模型极限压缩,1700+亿参数稀疏性达50%性能不减,单GPU即可

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。