顺序消息

基于 云消息队列 RocketMQ 版 本身队列的属性,消费顺序和队列存储的顺序一致,但不保证和发送顺序一致。未设置消息组,消息乱序发送。并发消费 并发消费,尽可能按照时间顺序处理。顺序消息生命周期 初始化 消息被生产者构建并完成初始化...

队列(MessageQueue)

队列的主要作用如下:存储顺序性 队列天然具备顺序性,即消息按照进入队列的顺序写入存储,同一队列间的消息天然存在顺序关系,队列头部为最早写入的消息,队列尾部为最新写入的消息。消息在队列中的位置和消息之间的顺序通过位点(Offset...

消息(Message)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。消息内部属性 系统保留属性 主题名称 定义:当前消息所属的主题的名称。集群内全局唯一。更...

消息存储和清理机制

背景信息 参考 云消息队列 RocketMQ 版 中 队列 定义,消息按照达到服务器的先后顺序存储到队列中,理论上每个队列都支持无限存储。但是在实际部署场景中,服务端节点的物理存储空间有限,消息无法做到永久存储。因此,在实际使用中...

领域模型概述

云消息队列 RocketMQ 版 通过流式特性的无限队列结构存储消息,消息在队列内具备顺序存储特征。消息(Message):云消息队列 RocketMQ 版 的最小传输单元。消息具备不可变性,在初始化发送和完成存储后即不可变。消息消费 消费者分组...

顺序消息

消息存储 如上图所示,顺序消息的Topic中,每个逻辑队列对应一个物理队列,当消息按照顺序发送到Topic中的逻辑队列时,每个分区的消息将按照同样的顺序存储到对应的物理队列中。消息消费 云消息队列 RocketMQ 版 按照存储的顺序将消息投递...

消费者分组(ConsumerGroup)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。内部属性 消费者分组名称 定义:消费者分组的名称,用于区分不同的消费者分组。...

订阅关系(Subscription)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。内部属性 过滤类型 定义:消息过滤规则的类型。订阅关系中设置消息过滤规则后,...

生产者(Producer)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。内部属性 客户端ID 定义:生产者客户端的标识,用于区分不同的生产者。集群内全局...

消费者(Consumer)

消息按照到达 云消息队列 RocketMQ 版 服务端的顺序存储到主题的指定队列中。消费者按照指定的订阅关系从 云消息队列 RocketMQ 版 服务端中获取消息并消费。内部属性 消费者分组名称 定义:当前消费者关联的消费者分组名称,消费者必须关联...

消息发送重试和流控机制

若某些场景例如业务上新等需要回溯到指定时刻前开始消费,此时队列的存储压力会瞬间飙升,触发消息流控。服务端请求任务排队溢出:若消费者消费能力不足,导致队列中有大量堆积消息,当堆积消息超过一定数量后会触发消息流控,减少下游消费...

基本概念

消息位点(MessageQueueOffset)消息是按到达 云消息队列 RocketMQ 版 服务端的先后顺序存储在指定主题的多个队列中,每条消息在队列中都有一个唯一的Long类型坐标,这个坐标被定义为消息位点。更多信息,请参见 消费进度管理。消费位点...

消费进度管理

消费进度原理 消息位点(Offset)参考 云消息队列 RocketMQ 版 主题 和 队列 定义,消息是按到达服务端的先后顺序存储在指定主题的多个队列中,每条消息在队列中都有一个唯一的Long类型坐标,这个坐标被定义为消息位点。任意一个消息队列...

GetInstance-获取指定实例的详情

消息队列 RocketMQ 版的消息存储完全实现 Serverless 弹性,按照实际存储空间收取费用,您可以通过调整消息保存时长来控制消息的存储容量。更多信息,请参见 存储费用。72 supportAutoScaling boolean 实例是否支持开启规格外突发弹性能力...

创建RabbitMQ Source Connector

test Queue 选择存储消息的队列。test 批量推送 批量推送可帮您批量聚合多个事件,当 批量推送条数 和 批量推送间隔(单位:秒)两者条件达到其一时即会触发批量推送。例如:您设置的推送条数为100 条,间隔时间为15 s,在10 s内消息条数已...

为什么限制Topic总数(分区总数)?

Topic总数(分区总数)太多会使集群性能和稳定性能急剧下降。云消息队列 Kafka 版 的存储和协调机制是以分区为粒度的,分区数太多,会导致存储碎片化严重,集群性能和稳定性都会急剧下降。

现代IM系统中的消息系统—模型

Timeline Queue 用于存储和同步消息的队列,队列中元素由以下两部分组成。Sequence Id:顺序ID,队列中用于定位Message的位点信息,在队列中顺序ID保持递增。Message:队列中承载消息的实体,包含了消息的完整内容。Timeline Data Timeline...

存储费用

包年包月和按量付费计费方式下,存储费用为 云消息队列 RocketMQ 版 的必选计费项,系统会根据实例的存储空间占用量进行计费。计费说明 项目 说明 计费公式 存储费用=存储空间×存储单价×存储时长 存储空间的值取计费周期(1小时)内起始...

如何优化高并发IM系统架构

这需要为用户发送的每一条消息或者朋友圈更新设置一个序号或者ID,并且保证递增,这个机制可以确保所有的消息能够按照正确的顺序被接收端处理。高并发的IM系统通常选择NoSQL数据库存储产品来存储消息,但常见的NoSQL产品没有提供自增列的...

生产者负载均衡

策略原理:Hash算法 MessageGroupHash模式下,生产者发送消息时,以消息组为粒度,按照内置的Hash算法,将相同消息组的消息分配到同一队列中,保证同一消息组的消息按照发送的先后顺序存储。说明 Hash算法的具体原理,请参见 SipHash算法。...

现代IM系统中的消息系统—架构

Timeline中是根据同步位点也就是顺序ID来同步消息,所以需要保证新写入的消息数据的顺序ID绝对不能比已同步的消息的顺序ID还小,否则会导致数据漏同步,所以需要支持对新写入的数据自动分配比当前已存储的所有消息的顺序ID更大的顺序ID。...

YARN调度器

主要特性 CapacityScheduler具备如下的特性:多级队列(树形结构):支持多级租户管理,父队列资源配额能够限制其下所有子队列的资源使用,单个子队列的资源配额也不能超过父队列的资源配额,因此对于多租户管理具备较高的可控性,能够满足...

混合云备份HBR

抵扣顺序 HBR存储费用的抵扣顺序为:存储资源包>SCU>按量计费 抵扣案例 陈先生2020年6月在华东1(杭州)购买了200 GB的备份库存储容量资源包和50 GB SCU,其6月份在华东1(杭州)地域标备份存储量为300 GB,则陈先生当月的存储费用抵扣...

对象存储OSS

抵扣顺序 OSS存储费用的抵扣顺序为:地域存储包>中国大陆通用存储包>SCU>按量计费 抵扣案例 用户A于2021年6月在华东1(杭州)购买了500 GB的 标准-本地冗余存储包 和20 GB的SCU,其6月份在华东1(杭州)地域标准存储(本地冗余)类型文件...

存储容量单位包SCU

存储容量单位包SCU(Storage Capacity Unit)是一种预付费的存储容量资源包,可以抵扣多种不同类型云存储产品的按量付费账单。购买方式 SCU的购买方式,请参见 创建存储容量单位包。抵扣规则 SCU可以抵扣多款云产品的部分存储费用,下表列...

存储容量单位包SCU

抵扣顺序 OSS存储费用的抵扣顺序为:地域存储包>中国内地通用存储包>SCU>按量计费 抵扣案例 用户A于2021年6月在华东1(杭州)购买了500 GB的 标准-本地冗余存储包 和20 GB的SCU,其6月份在华东1(杭州)地域标准存储(本地冗余)类型文件...

API概览

本产品(微消息队列 MQTT/2020-04-20)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...

使用限制

云消息队列 Kafka 版 对某些具体指标进行了约束和规范,您在使用 云消息队列 Kafka 版 时注意不要超过相应的限制值,以免程序出现异常。重要 若由于您的实例配置超出使用限制导致的任何不稳定情况,不在SLA承诺和赔偿范围内。云消息队列 ...

快照服务

因此,快照存储费用的抵扣顺序存在以下两种情况:OSS 标准-本地冗余存储包>SCU>按量计费 预留空间>SCU>按量计费 抵扣案例 陈先生2022年01月的快照存储容量为500 GiB,已购买OSS 标准-本地冗余存储包 200 GiB,存储容量单位包SCU 40 GiB,...

概述

表格存储 表格存储(Tablestore)是阿里云自研的结构化数据存储,提供海量结构化数据存储以及快速的查询和分析服务,具备PB级存储、千万TPS以及毫秒级延迟的服务能力。云存储网关 云存储网关(Cloud Storage Gateway)是一款可以部署在用户...

存储网关软件版公测

存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品,提供类似ossfs的功能,使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问,从而您可以像操作本地文件一样操作OSS里面的文件。...

控制台看到的最近消费时间是什么意思?

消息发布到 云消息队列 Kafka 版 服务器的存储时间。控制台看到的 最近消费时间 是指消息发布到 云消息队列 Kafka 版 服务器的存储时间。如果消费没有堆积,那么这个时间接近发送时间。

Demo工程

mqtt.ssl.demo.ios Demo使用须知 如果搭配使用 云消息队列 MQTT 版 和其他后端消息存储产品,如 云消息队列 RocketMQ 版,您需理解消息结构和属性映射关系,详细信息,请参见 MQTT与RocketMQ的消息结构映射。说明 各种开发语言的Demo程序...

实例升降配

存储规格 不涉及 云消息队列 RocketMQ 版 的存储空间根据实际使用量按量付费,您可以随时调整消息存储时长来控制占用的存储空间。公网访问类型 支持 支持升配和降配。升配:开启公网访问。降配:关闭公网访问。公网流量带宽 支持 支持升配...

Demo工程

mqtt.ssl.demo.ios Demo使用须知 如果搭配使用 云消息队列 MQTT 版 和其他后端消息存储产品,如 云消息队列 RocketMQ 版,您需理解消息结构和属性映射关系,详细信息,请参见 MQTT与RocketMQ的消息结构映射。说明 各种开发语言的Demo程序...

MQTT和RocketMQ进行数据互通(客户端上下线通知)

如果您的云端应用需要使用 云消息队列 RocketMQ 版 产品的某些功能,例如顺序消息特性、事务消息特性等,您可以通过消息流入或流出规则将 云消息队列 MQTT 版 和 云消息队列 RocketMQ 版 数据进行流转。本文以公网环境中的Java SDK为例说明...

为什么云存储网关与OSS上的文件不一致

存储网关上的文件与OSS对象一一对应,提供与OSS对象1:1映射的文件共享服务,您可以通过网关以标准的POSIX接口访问OSS上的资源。云存储网关与OSS是相互独立的云产品,为保证您通过网关看到的文件视图与OSS一致,需要有特殊的元数据同步...

MQTT客户端上下线事件数据流出

映射关系 MQTT资源 其他阿里云产品 其他阿里云产品资源 数据包定义 MQTT Group ID 云消息队列 RocketMQ 版 云消息队列 RocketMQ 版 的Topic MQTT和RocketMQ的消息结构映射 操作流程 如上文所述,如果使用异步上下线通知的方式,您需创建...

产品架构

Tablestore 多模型数据存储 表格存储 针对不同业务类型的结构化数据提供了宽表(WideColumn)模型、时序(TimeSeries)模型和消息(Timeline)模型三种数据存储模型。模型 描述 宽表模型 类Bigtable/HBase模型,可应用于元数据、大数据等...

环境准备

使用Flink访问表格存储中的表前,您需要开通实时计算Flink服务并创建Flink全托管实例以及开通表格存储Tablestore服务并创建Tablestore实例。背景信息 阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储 CPFS 对象存储 云消息队列 RocketMQ 版 云消息队列 Kafka 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用