在ACK中使用KTransformers部署DeepSeek-R1模型
KTransformers框架实现了多种LLM推理优化，进一步减少了推理阶段的显存占用，从而提高推理性能和降低GPU资源成本。本文介绍如何在阿里云容器服务 Kubernetes 版中通过KTransformers实现高效部署671B参数的DeepSeek-R1-Q4_K_M量化模型推理服务。
使用ACS GPU算力构建QwQ-32B模型推理服务
在使用容器计算服务 ACS（Container Compute Service）算力时，您无需深入了解底层硬件，也无需涉及GPU节点管理和配置即可开箱即用。ACS部署简单、支持按量付费，非常适合用于LLM推理任务，可以有效降低推理成本。本文介绍如何使用ACS GPU算力部署生产可用的QwQ-32B模型推理服务，并通过Open WebUI页面进行展示。
通过ACK Gateway with Inference Extension访问服务
Gateway API是Kubernetes官方项目，是下一代Kubernetes路由和负载均衡API，支持通过Gateway API配置流量规则。本文介绍ACK Gateway with Inference Extension支持的一些Gateway API基础能力配置方法。
使用ACK Edge与虚拟节点部署DeepSeek蒸馏模型推理服务
为解决DeepSeek推理服务对GPU规格需求越来越高的问题，您可以通过ACK Edge集群管理本地IDC的GPU机器，并借助集群的虚拟节点快速接入云上ACS Serverless GPU算力。该方案可以使推理任务优先在IDC GPU上运行，当本地IDC GPU资源不足时，任务将自动调度至云上的ACS Serverless GPU，满足业务扩展需求的同时降低成本。
容器云服务是什么？
容器云是一种以容器技术为核心的云计算服务形态，其核心目标是通过标准化封装应用及其依赖环境，实现跨平台快速部署和高效管理。容器技术将应用程序与所需的运行库、配置等资源打包为轻量化的独立单元（容器），确保应用在不同计算环境中保持行为一致性。 容器云与传统云计算依赖虚拟机技术不同，虚拟机需要为每个应用创建独立的操作系统...
容器化AI模型的安全防护：构建可信的AI服务
在前几篇文章中，我们探讨了AI模型的容器化部署、机器学习流水线的构建、模型的监控与治理以及弹性伸缩。然而，随着AI技术的广泛应用，AI模型的安全问题也日益凸显。恶意攻击者可能利用模型漏洞进行数据窃取、模型窃取、对抗样本攻击等，给企业带来巨大的损失。因此，容器化AI模型的安全防护至关重要。 一、AI模型面临的安全威胁 AI模型在...
ACK One注册集群使用ACS GPU算力构建DeepSeek蒸馏模型推理服务
DeepSeek是一款基于深度学习的智能推理模型，因其在自然语言处理和图像识别等领域的卓越表现而迅速受到了广泛关注。无论是企业级应用还是学术研究，DeepSeek都展现出了强大的潜力。然而，随着其应用场景的不断扩展，数据中心的算力瓶颈问题逐渐凸显。为应对这一挑战，阿里云推出了ACK One注册集群为企业提供灵活、高效的解决方案。通过将本地数据中心的Kubernetes集群接入ACK One注册集群...
云原生之旅：从传统架构到容器化服务的演变
在数字化时代的浪潮中，企业对于IT基础设施的要求越来越高，他们需要的是能够快速响应市场变化、支持业务的快速增长和创新的技术解决方案。传统的IT架构往往难以满足这些需求，因为它们通常涉及复杂的集成和长期的部署周期。而云原生技术的兴起，正是为了解决这些问题。 云原生是一种构建和运行应用程序的方法，它充分利用了云计算的优势ÿ...
在K8S中，容器提供一个服务，外部访问慢，到底是容器网络问题？还是容器服务问题？这种怎么排查？
在K8S（Kubernetes）中，当容器提供的服务外部访问慢时，可能是由容器网络问题或容器服务问题中的一个或多个因素导致的。为了有效排查这个问题，可以按照以下步骤进行： 一、初步排查 检查外部访问方式： 确认外部是通过哪种方式访问服务的，如LoadBalancer、NodePort、Ingress等。 检查相应的服务配置是否正...
modelscope-funasr的 docker gpu1.1 容器中启动服务时，报这个是啥问题？
modelscope-funasr的 docker gpu1.1 容器中启动服务时，报这个是啥问题？
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
容器更多服务相关
阿里云容器服务 ACK
云端最佳容器应用运行环境，安全、稳定、极致弹性
+关注