文章 2025-03-12 来自:开发者社区

容器云服务是什么?

容器云是一种以容器技术为核心的云计算服务形态,其核心目标是通过标准化封装应用及其依赖环境,实现跨平台快速部署和高效管理。容器技术将应用程序与所需的运行库、配置等资源打包为轻量化的独立单元(容器),确保应用在不同计算环境中保持行为一致性。 容器云与传统云计算依赖虚拟机技术不同,虚拟机需要为每个应用创建独立的操作系统...

阿里云文档 2025-03-10

使用ACS GPU算力构建QwQ-32B模型推理服务

在使用容器计算服务 ACS(Container Compute Service)算力时,您无需深入了解底层硬件,也无需涉及GPU节点管理和配置即可开箱即用。ACS部署简单、支持按量付费,非常适合用于LLM推理任务,可以有效降低推理成本。本文介绍如何使用ACS GPU算力部署生产可用的QwQ-32B模型推理服务。

文章 2025-02-27 来自:开发者社区

容器化AI模型的安全防护:构建可信的AI服务

在前几篇文章中,我们探讨了AI模型的容器化部署、机器学习流水线的构建、模型的监控与治理以及弹性伸缩。然而,随着AI技术的广泛应用,AI模型的安全问题也日益凸显。恶意攻击者可能利用模型漏洞进行数据窃取、模型窃取、对抗样本攻击等,给企业带来巨大的损失。因此,容器化AI模型的安全防护至关重要。 一、AI模型面临的安全威胁 AI模型在...

阿里云文档 2025-02-27

使用ACS GPU算力构建DeepSeek满血版模型推理服务

在使用容器计算服务 ACS(Container Compute Service)算力时,您无需深入了解底层硬件,也无需涉及GPU节点管理和配置即可开箱即用。ACS部署简单、支持按量付费,非常适合用于LLM推理任务,可以有效降低推理成本。本文介绍如何使用ACS算力部署生产可用的DeepSeek满血版模型推理服务。

阿里云文档 2025-02-19

ACK One注册集群使用ACS GPU算力构建DeepSeek蒸馏模型推理服务

DeepSeek是一款基于深度学习的智能推理模型,因其在自然语言处理和图像识别等领域的卓越表现而迅速受到了广泛关注。无论是企业级应用还是学术研究,DeepSeek都展现出了强大的潜力。然而,随着其应用场景的不断扩展,数据中心的算力瓶颈问题逐渐凸显。为应对这一挑战,阿里云推出了ACK One注册集群为企业提供灵活、高效的解决方案。通过将本地数据中心的Kubernetes集群接入ACK One注册集群...

阿里云文档 2025-02-13

在Knative服务中基于Fluid加速大模型推理服务Pod启动

Fluid是一个开源的、Kubernetes原生的分布式数据集编排和加速引擎,主要应用于云原生场景下的数据密集型应用,例如大数据应用、AI应用等。本文介绍如何在Knative中基于Fluid加速模型推理服务Pod的启动,以提升应用响应效率。

阿里云文档 2025-02-12

容器ACK服务通过云防火墙实现网络访问控制最佳实践

本文介绍 ACK 集群同步节点、ACK 地址簿在 NAT 防火墙中对频繁改变 IP 地址的集群节点进行自动访问控制的最佳实践。

文章 2024-11-24 来自:开发者社区

云原生之旅:从传统架构到容器化服务的演变

在数字化时代的浪潮中,企业对于IT基础设施的要求越来越高,他们需要的是能够快速响应市场变化、支持业务的快速增长和创新的技术解决方案。传统的IT架构往往难以满足这些需求,因为它们通常涉及复杂的集成和长期的部署周期。而云原生技术的兴起,正是为了解决这些问题。 云原生是一种构建和运行应用程序的方法,它充分利用了云计算的优势ÿ...

文章 2024-08-23 来自:开发者社区

在K8S中,容器提供一个服务,外部访问慢,到底是容器网络问题?还是容器服务问题?这种怎么排查?

在K8S(Kubernetes)中,当容器提供的服务外部访问慢时,可能是由容器网络问题或容器服务问题中的一个或多个因素导致的。为了有效排查这个问题,可以按照以下步骤进行: 一、初步排查 检查外部访问方式: 确认外部是通过哪种方式访问服务的,如LoadBalancer、NodePort、Ingress等。 检查相应的服务配置是否正...

问答 2024-08-21 来自:开发者社区

modelscope-funasr的 docker gpu1.1 容器中启动服务时,报这个是啥问题?

modelscope-funasr的 docker gpu1.1 容器中启动服务时,报这个是啥问题?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注