文章 2024-06-02 来自:开发者社区

Alpaca模型在阿里云GPU服务器上的部署

创建个人版的对话大模型。Alpaca大模型是一款基于LLaMA的大语言模型,它能够模拟自然语 操作步骤 创建ECS实例 实例创建:在ECS实例创建页面,创建一个ECS实例。选择实例规格为ecs.gn7i-c16g1.4xlarge,选择公共镜像Ubuntu 20.04,并确保选中了安装GPU驱动选项,选择CUDA...

问答 2024-05-29 来自:开发者社区

在modelscope-funasr怎么使用服务器int模型?

在modelscope-funasr怎么使用服务器int模型?

文章 2024-05-24 来自:开发者社区

魔搭开源推理引擎 DashInfer,助力CPU服务器解锁大模型超强推理

在CPU上高效推理大模型,是当前加速生成式AI应用广泛落地的核心命题。 就此,ModelScope推出了预训练大语言模型(LLM)推理引擎DashInfer,采用C++ Runtime编写,提供C++和Python语言接口,具有生产级别的高性能表现,适用于多种CPU架构,包括x86和ARMv9。DashInfer支持连续批处理(Continuous Batching)和多NUMA推理(N...

魔搭开源推理引擎 DashInfer,助力CPU服务器解锁大模型超强推理
问答 2024-05-21 来自:开发者社区

在魔塔modelscope免费服务器的模型如何部署才能让公网访问呢?

在魔塔modelscope免费服务器的模型如何部署才能让公网访问呢?

文章 2024-05-19 来自:开发者社区

ECS的安全责任共担模型

云上安全的重要性 随着互联网的快速发展,在过去几十年,我国持续不断地完善并推出了两百多部网络与数据安全相关的法律法规,包括网络安全治理的国家基本法《网络安全法》、数据安全的国家基本法《数据安全法》等,对企业的业务安全和数据安全都提出了严格的要求与规范。同时,随着云计算应用的日益普及,客户不再仅仅考虑如何上云,而更关注如何在云上持续安全地进行业务运营,既保障自身业务本身的安全性,又保障业务...

文章 2024-05-16 来自:开发者社区

社区供稿 | Yuan2.0千亿大模型在通用服务器上的高效推理实现:以NF8260G7服务器为例

引言 近日,浪潮信息联合Intel在IPF大会上发布了可运行千亿参数大模型的AI通用服务器,首次实现了单机通用服务器,即可运行千亿参数大模型。并在发布现场演示了基于NF8260G7服务器进行yuan2.0-102B模型在代码编写、逻辑推理等高难度问题上的实时推理效果,引起了业界广泛的关注。本文将详细解读yuan2.0-102B模型在NF8260G7服务器上进行高效实时...

社区供稿 | Yuan2.0千亿大模型在通用服务器上的高效推理实现:以NF8260G7服务器为例
问答 2024-05-11 来自:开发者社区

传输到服务器的模型大小会有限制吗?一般有多大呢?

传输到服务器的模型大小会有限制吗?一般有多大呢?

文章 2024-04-28 来自:开发者社区

【专栏】无服务器架构,一种云计算模型,让开发者专注编写代码而不必管理服务器(Serverless)

随着云计算技术的不断演进,一种被称为“无服务器架构”(Serverless)的新兴计算模型正在改变软件开发和运维的方式。这种架构让开发者可以专注于编写代码,而不必担心底层的服务器和基础设施。这不仅大幅简化了开发过程,还为快速、高效和经济地构建应用程序提供了可能。本文将详细介绍无服务器架构的概念、优势以及面临的挑战,...

问答 2024-04-22 来自:开发者社区

NLP自学习平台情感倾向模型项目本地化部署对服务器等资源有什么要求?

NLP自学习平台情感倾向模型项目本地化部署对服务器等资源有什么要求?

问答 2024-03-28 来自:开发者社区

运行3个深度学习模型组成的pipeline的推理过程,每个模型的参数文件约1G,要什么配置的云服务器

运行3个深度学习模型组成的pipeline的推理过程,每个模型的参数文件约1G,要什么配置的云服务器

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

云服务器ECS

云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息,加速自己的技术成长。

+关注