文章 2024-08-31 来自:开发者社区

Azure云之旅:JSF应用的神秘部署指南,揭开云原生的新篇章!

JSF与Azure:在Azure上部署JSF应用 融合JavaServer Faces (JSF)的丰富界面构建能力与Azure的云平台优势,开发者能够构建出既高效又安全的Web应用。Microsoft Azure作为全球领先的云服务提供商,提供了广泛的服务与工具,以支持各类应用的部署与运行。本文旨在探讨在Azure上部署JSF应用的策略与...

阿里云文档 2024-08-27

使用TensorRT-LLM部署Qwen2模型推理服务

本文以Qwen2-1.5B-Instruct模型、GPU类型为A10卡为例,演示如何在ACK中使用Triton推理服务 + TensorRT-LLM部署通义千问模型推理服务。模型部署过程中使用Fluid Dataflow完成模型准备工作,并使用Fluid提升模型加载速度。

问答 2024-07-29 来自:开发者社区

自动化编译、打包与部署在云原生架构中为何重要?

自动化编译、打包与部署在云原生架构中为何重要?

阿里云文档 2024-07-26

基于ACK使用TGI部署Qwen模型推理服务

本文以Qwen1.5-4B-Chat模型、GPU类型为A10卡为例,演示如何在ACK中使用Hugging Face的TGI(Text Generation Inference)框架部署Qwen(通义千问)模型推理服务。

阿里云文档 2024-07-26

使用LMDeploy部署Qwen模型推理服务

本文以模型为Qwen1.5-4B-Chat,GPU类型为A10卡为例,演示如何在ACK中使用LMDeploy框架部署通义千问(Qwen)模型推理服务。

阿里云文档 2024-07-26

基于ACK使用rtp-llm部署Qwen模型推理服务

本文以Qwen1.5-4B-Chat模型、GPU类型为A10和T4卡为例,演示如何在ACK中使用rtp-llm框架部署通义千问(Qwen)模型推理服务。

文章 2024-07-08 来自:开发者社区

企业级容器部署实战:基于ACK与ALB灵活构建云原生应用架构

前言 在信息化浪潮的不断推进下,企业IT架构面临的挑战日益严峻。传统架构的局限性,诸如僵化的资源分配、复杂的运维流程、缓慢的迭代速度,以及高昂的扩展成本,已逐渐成为制约业务敏捷性与创新力的瓶颈。随着云计算技术的蓬勃发展,云原生架构以其革命性的设计理念,为这些问题提供了一剂良方,迅速在全球范围内掀起了一场技术变革的风暴。 云原生架构之所以能够蔚然成风,核心在于其对软件开发、部署及运维模式的根本...

企业级容器部署实战:基于ACK与ALB灵活构建云原生应用架构
阿里云文档 2024-07-01

部署GPU共享推理服务

在某些场景下,您可能需要将多个模型推理任务共享在同一块GPU以提高GPU的利用率。本文以模型类型为Qwen1.5-0.5B-Chat,GPU类型为V100卡为例,演示如何使用KServe部署GPU共享的模型推理服务。

问答 2024-05-23 来自:开发者社区

部署云原生 AI 套件后,vscode 能否用remotessh 的方式连上来?

部署云原生 AI 套件后,vscode 能否用remotessh 的方式连上来?

问答 2024-05-13 来自:开发者社区

地多机房部署Harbor集群时 , Harbor的远程复制功能同步速度 有点慢  如何高效分发云原生

Harbor集群多机房部署时,远程复制速度慢。如何高效分发镜像?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云云原生

关注云原生中间件、微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生技术趋势、云原生大规模的落地实践

+关注