消息队列 Kafka

消息队列 Kafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等,是大数据生态中不可或缺的产品之一,阿里云提供全托管服务,用户无需部署运维,更专业、更可靠、更安全。

立即购买 双 11 限时特惠 管理控制台 消息产品选型 文档中心

  • 开箱即用

    100% 兼容开源社区 Kafka(0.10.0.0 及以上版本),业务代码无需任何改造,快速上云

  • 全托管服务

    提供全托管服务,用户只需专注于业务开发,无需部署运维,更专业、更弹性、更可靠

  • 高可用性

    专业团队保障更高可用性,优化开源 Kafka 长期以来的痛点,消息堆积能力强,支持数万级 Topic

  • 数据安全

    支持 SASL 用户身份认证与 SSL 通道加密传输机制,确保数据不被窃取或篡改,保证用户数据的安全

精心打造的功能

  • 开箱即用

    开箱即用,无缝迁移,帮助您的业务快速上云

    开箱即用

    100% 兼容开源社区 Kafka(0.10.0.0 及以上版本),利用 Kafka 开源客户端便可与阿里云上消息队列 Kafka 进行通讯;


    无缝迁移

    业务系统基于现有的开源 Apache Kafka 生态的代码,无需任何改造,即可迁移上云,享受到阿里云提供的消息队列 Kafka 服务;


    生态丰富

    与 Kafka 开源社区、阿里云平台产品全面打通;

  • 全托管服务

    专业的且经验丰富的运维团队,提供体系化的产品运维

    HouseKeeping(健康巡检组件)

    用于 Kafka 核心链路的运行时巡检,每分钟会对集群做一次全面扫描诊断,并能针对不健康的状态进行告警,同时,每日出具整体巡检报告,方便运维人员每天观察 Kafka 系统的健康状态;


    业务监控与告警

    每个 Consumer Group 都可以根据消息的堆积量情况进行监控与告警设置,帮助用户及时发现问题;


    Open API

    Kafka 提供给用户的一整套完备的管控类 Open API,用于实现一系列资源管理和运维功能;

  • 高可用性

    阿里巴巴消息产品研发与性能优化团队,进一步优化开源产品长期以来的痛点,提供更优质的服务

    高可靠/高可用

    专业团队保障更高可用性,消息持久化落盘到消息队列,数据可靠性 99.999999%,服务可用性 99.9%;


    海量消息堆积

    在海量消息堆积的情况下,始终保持 Kafka 集群的消息收、发的高吞吐能力;


    数万级 Topic

    支持数万级 Topic 高并发读、写,始终保持 Kafka 集群的高吞吐能力;

  • 数据安全

    提供鉴权与授权机制、主子账号等功能,提供企业级的安全防护

    权限控制

    以消息主题(Topic)、订阅组(Consumer Group)的粒度对用户访问权限进行控制,对每一条消息(Message)的收、发都进行严格的访问控制,确保消息的安全性;


    主子账号

    全面支持阿里云 RAM 主子账号、黑白名单、STS 等功能,实现主、子账号以及企业间跨账号授权服务;


    访问安全

    基于阿里云账号体系,利用 SASL 机制对用户身份进行认证,并利用 SSL 对通道进行加密传输,确保数据传输过程中不被窃取或篡改,保证客户数据的安全;


    阿里云 VPC

    支持阿里云 VPC 访问;

  • 弹性计算

    可以根据业务规模按需扩容,上层业务无感知;

    集群扩容

    Broker 可在跨可用区(跨机房)横向扩容;


    Partition 扩容

    支持数万级 Topic、无限分区的快速扩容;

经典应用场景

  • 构建日志分析平台

  • 网站活动跟踪

  • 流计算处理

  • 数据中转枢纽

  • 构建日志分析平台

    构建日志分析平台

    淘宝、天猫平台等公司每天都会产生大量的日志。Kafka 性能高效,同时Kafka 的特性决定它非常适合作为"日志收集中心": 1. 采集日志时业务无感知;2. Hadoop/ODPS 等离线仓库存储和 Strom/Spark 等实时在线分析对接​​;

    能够解决

    • 应用与分析解耦

      构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;

    • 在线/离线分析系统

      支持实时在线分析系统和类似于Hadoop之类的离线分析系统;

  • 网站活动跟踪

    网站活动跟踪场景

    通过消息队列 Kafka 可以实时收集网站活动数据(包括用户浏览页面、搜索及其他行为等)。发布-订阅的模式可以根据不同的业务数据类型,将消息发布到不同的 Topic;还可通过订阅消息的实时投递,将消息流用于实时监控与业务分析或加载到 Hadoop、ODPS 等离线数据仓库系统进行离线处理;​​

    能够解决

    • 高吞吐

      网站所有用户产生的行为信息极为庞大,需要非常高的吞吐量来支持;

    • 大数据分析

      可对接 Storm/Spark 实时流计算引擎,亦可对接 Hadoop/ODPS 等离线数据仓库系统;

  • 流计算处理

    数据在流动中产生价值

    股市走向分析、气象数据测控、网站用户行为分析等领域,由于数据产生快、实时性强、数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需求。而Kafka 以及 Storm/Samza/Spark 等流计算引擎的出现,可以根据业务需求对数据进行计算分析,最终把结果保存或者分发给需要的组件。​​​​

    能够解决

    • 高可扩展性

      由于数据产生非常快且数据量大,需要非常高的可扩展性;

    • 流计算引擎

      可对接开源 Storm/Samza/Spark 以及 EMR、Blink、StreamCompute 等阿里云产品;

  • 数据中转枢纽

    数据中转枢纽

    近年来KV存储(HBase)、搜索(ElasticSearch)、流式处理(Storm/Spark Streaming/Samza)、时序数据库(OpenTSDB)等等专用系统应运而生,产生了同一份数据集需要被注入到多个专用系统内的需求。利用Kafka 作为数据中转枢纽,同份数据可以被导入到不同专用系统中。​​

    能够解决

    • 一对多消费模型

      发布/订阅模型,支持同份数据集能同时被消费多次;

    • 同时支持实时和批处理

      本地数据持久以及PageCache,在无性能损耗的情况下能同时传送消息到实时和批处理消费者;