文章 2025-02-28 来自:开发者社区

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南

DeepSeek凭借其出色的推理表现在春节期间火爆全网,本文重点介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。 背景介绍 1. DeepSeek R1模型 DeepSeek-R1[1]模型是DeepSeek推出的第一代推理模型,旨在通过大规模强化学习提升大语言模型的推理能力。实验结果表明,Deep...

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
文章 2025-02-08 来自:开发者社区

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南

【阅读原文】戳:企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南 DeepSeek凭借其出色的推理表现在春节期间火爆全网,本文重点介绍如何在阿里云容器服务ACK中使用KServe部署生产可用的DeepSeek模型推理服务。       背景介绍   ...

企业级LLM推理部署新范式:基于ACK的DeepSeek蒸馏模型生产环境落地指南
文章 2024-07-08 来自:开发者社区

企业级容器部署实战:基于ACK与ALB灵活构建云原生应用架构

前言 在信息化浪潮的不断推进下,企业IT架构面临的挑战日益严峻。传统架构的局限性,诸如僵化的资源分配、复杂的运维流程、缓慢的迭代速度,以及高昂的扩展成本,已逐渐成为制约业务敏捷性与创新力的瓶颈。随着云计算技术的蓬勃发展,云原生架构以其革命性的设计理念,为这些问题提供了一剂良方,迅速在全球范围内掀起了一场技术变革的风暴。 云原生架构之所以能够蔚然成风,核心在于其对软件开发、部署及运维模式的根本...

企业级容器部署实战:基于ACK与ALB灵活构建云原生应用架构
文章 2024-05-27 来自:开发者社区

构建高效稳定的云基础设施:自动化运维在企业级应用中的关键实践Kubernetes集群监控与性能优化策略

在当今动态变化的商业环境中,企业需要快速适应不断变化的市场需求,而传统的IT运维模式已无法满足这种敏捷性的要求。因此,越来越多的企业转向自动化运维,以期通过技术手段来提升效率并确保系统的可靠性。 自动化运维的核心在于使用工具和技术来自动执行常规任务,例如配置管理、软件部署、监控和故障恢复等。它不仅减少了人为错误的可能性...

文章 2024-04-24 来自:开发者社区

【博客大赛】搭建一套完整的企业级Kubernetes高可用集群(v1.20,二进制)

一、前置知识点 1.1 生产环境部署K8s集群的两种方式 kubeadm Kubeadm是一个K8s部署工具,提供kubeadm init和kubeadm join,用于快速部署Kubernetes集群。 二进制包 从github下载发行版的二进制包,手动部署每个组件,组成Kubernetes集群。 小结...

【博客大赛】搭建一套完整的企业级Kubernetes高可用集群(v1.20,二进制)
文章 2023-10-09 来自:开发者社区

企业级K8S多集群管理

在实际生产环境中,往往需要维护多个k8s集群,在多个环境和节点之间切换,影响工作效率,不符合devops的理念,因此尝试在单个节点下面维护多个k8s集群。 1) 模拟存在两套k8s集群 第一个k8s集群:[root@k8smaster ~]# kubectl get nodes NAME STATUS ROLES VERSION k8...

文章 2023-02-09 来自:开发者社区

基于 Kubernetes 的企业级大数据平台,EMR on ACK 技术初探

作者:容器服务团队云上大数据的 Kubernetes 技术路线当前,大数据与机器学习领域颇为关注存储与计算分离架构,逐渐向云原生演进。以Spark 为例,云下或自有服务器可以选择 Hadoop 调度支持 Spark,云上的 Spark 则会考虑如何充分享有公共云的弹性资源、运维管控和存储服务等,并且业界也涌现了不少 Spark on Kubernetes 的优秀实践。大数据云原生化面临的挑战存储....

基于 Kubernetes 的企业级大数据平台,EMR on ACK 技术初探
文章 2022-08-12 来自:开发者社区

企业级运维之云原生与Kubernetes实战课程 - 第三章第6讲 实验三:灰度发布

企业级运维之云原生与Kubernetes实战课程第三章第6讲 实验三:灰度发布 视频地址:https://developer.aliyun.com/learning/course/913/detail/14607 一、实验概述 通过ingress实现灰度发布,实现权重灰度和根据header灰度。 二、涉及实验资源 1.  ACK托管版集....

企业级运维之云原生与Kubernetes实战课程 - 第三章第6讲 实验三:灰度发布
文章 2022-08-12 来自:开发者社区

企业级运维之云原生与Kubernetes实战课程 第二章第4讲 负载均衡和路由

企业级运维之云原生与Kubernetes实战课程第二章第4讲 负载均衡和路由  视频地址:https://developer.aliyun.com/learning/course/913/detail/14650 摘要:本小节主要内容为负载均衡和路由,包括service、ingress的工作原理及使用方法。 目录 阿里云容器服务集群service....

企业级运维之云原生与Kubernetes实战课程 第二章第4讲 负载均衡和路由
文章 2022-08-12 来自:开发者社区

企业级运维之云原生与Kubernetes实战课程 - 第二章第1讲 阿里云容器镜像服务

企业级运维之云原生与Kubernetes实战课程第二章 阿里云容器技术深入介绍  视频地址:https://developer.aliyun.com/learning/course/913/detail/14500 本章目标 阿里云容器镜像服务的基础使用和最佳实践,常见问题排查手段熟悉阿里云容器服务集群应用管理(创建、更新、删除)掌握Kubernetes调....

企业级运维之云原生与Kubernetes实战课程 - 第二章第1讲 阿里云容器镜像服务

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

容器服务

国内唯一 Forrester 公共云容器平台领导者象限。

+关注
相关镜像