近实时增量导入
如上图所示：数据导入工具内部会集成MaxCompute数据通道服务Tunnel提供的SDK Client，支持分钟级高并发写入数据到Tunnel Server，由它把数据并发写入到每个Bucket的数据文件中。写入并发度可通过表属性 write.bucket.num 来配置，因此写入...
自媒体：易撰
客户感言“因为业务有高并发写入的场景，我们最终使用 PolarDB-X+RDS的分布式数据库解决方案完美解决了我们的高并发写入诉求。同时我们业务上会有大量的大范围、多维度的数据查询检索，PolarDB的高性能读能力解决了我们这个业务场景的需求...
新零售：特步
业务挑战 线下零售数千家门店，订单量很大，对在线交易数据库的高并发写入、海量存储能力要求较高。特步的业务属性决定了促销是一个常态，经常发生业务突变，大促期间单日订单量最高可达几百万，需要一定的弹性能力以支撑成倍订单增长带来...
应用场景
舆情&风控分析（数据爬虫）场景 通过对舆情信息的分析与把控，可以有效的分析与洞察市场，例如针对点评、新闻、评论等信息的收集分析，需要丰富的多类数据高并发写入以及便捷的数据流转进行计算分析。舆情&风控分析场景中的核心需求如下：...
基于TairTS实现秒级监控
高并发写入场景 在高并发写入场景中，随着APP规模的增大，单点的Collector将会成为瓶颈。为此，TairTS支持对历史时序数据的原地更新或累加，保障多Collector并发写入正确性，同时节省内存空间。并发写入的代码示例如下：import ...
公交出行：启迪公交
所属行业：公交出行 网站地址：启迪公交 客户感言“启迪公交从市场上诸多数据库产品中选中成熟稳定、经历过多年双十一考验的阿里云 PolarDB-X 分布式数据库方案，解决了数据库高并发访问和水平扩展的需求”。客户介绍 启迪公交（北京）科技...
应用场景
车联网场景中涉及的车辆数量大、数据规模大、数据种类多、数据来源广，因此需要支持众多车辆数据的高并发写入、存储与统计分析。车联网场景中数据存储与分析的核心需求如下：数据高并发写入：面向众多车辆，需要支持百万级节点实时写入。...
应用场景
同时，云数据库MongoDB中的分片集群实例，可按需配置Mongos和Shard组件的配置和个数，性能及存储空间可实现无限扩展，非常适合物联网高并发写入的场景。详情请参见 变更配置方案概览。MongoDB提供二级索引功能满足动态查询的需求，利用...
PolarDB-X适用场景
产品能力 PolarDB-X 可根据访问量和存储量方便的进行Scale-Up/Down和Scale-Out/In，按需满足高并发写入、大容量存储需求。基于并行计算的DML以及大事务的支持能力，可以有效满足跑批处理和执行效率。高性能全局二级索引（GSI）让用户不局限...
简介
车辆和骑手的位置需要实时上报，云端需要处理高并发写入并进行实时路径规划、偏航监测等计算。优势介绍 公有云原生架构的空间、时空、遥感一体化NoSQL大数据引擎产品，开箱即用。PB级存储、高并发写入、百亿级时空查询秒级响应。支持数据...
图扑案例
客户感言 阿里 云原生多模数据库 Lindorm 针对工业物联网数据高并发写入，实时存取等特点，创新性地融合时序、索引、宽表等多模引擎能力，为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案，大...
平滑扩容
应用停写和路由切换 校验完成后，并且增量依然维持准实时同步，业务选定时间进行切换，为确保数据严格一致，建议应用停服（也可以不停，但可能面临同一条数据高并发写入覆盖问题），引擎层进行分库规则的路由切换，将后续流量转向新库，...
高性能
Master调度优化，支持调度更多分片数，调度性能提升10倍 提升日志场景的写入性能：在日志场景下，海量数据的高并发写入为Elasticsearch集群带来了明显的性能瓶颈和成本压力。阿里云Elasticsearch提供的Indexing Service索引构建服务，通过...
C SDK
功能优势 客户端高并发写入：可配置的发送线程池，支持每秒数十万条日志写入，详情参见 性能测试。低资源消耗：每秒20W日志写入只消耗30%CPU；同时在低性能硬件（例如树莓派）上，每秒产生100条日志对资源基本无影响。详情参见 性能测试。...
强一致分布式事务
Binlog日志服务 事务型的分布式数据库除了面向在线业务的高并发写入以外，一般还需要将在线数据同步给下游的灾备数据、汇聚业务或数据仓库系统等，下游业务对于事务日志的一致性也有比较强的诉求，例如事务不能乱序、事务原子性、DDL支持...
使用写入高可用特性
即通过异步写入高可用架构实现读写分离，以保证在高并发写入情况下集群的稳定性。同时写入高可用特性还加入了服务代理和消息队列等组件。本文介绍写入高可用特性的原理和使用方法。背景信息 写入高可用特性具有如下功能：数据高可用：当...
技术原理
应用停写和路由切换 校验完成后，并且增量依然维持准实时同步，业务选定时间进行切换，为确保数据严格一致，建议应用停服（也可以不停，但可能面临同一条数据高并发写入覆盖问题），引擎层进行分库规则的路由切换，将后续流量转向新库，...
概述
全局一致性（高性能模式）高规格集群性能 通过MTT技术对全局一致性（高性能模式）进行优化后，即便在高并发写入压力下，全局一致性（高性能模式）依然可以在很大程度上提升集群的性能。如下图所示，在包含1个RW节点和1个RO节点的集群中，...
如何将一棵LSM-Tree塞进NVM
保证串行化写入语义的一种方法是串行写入，但该方式无法利用多核平台的高并发写入的特性，其本质上是先建序后写入的思想。ROR算法中采用写入后建序，即每个线程在写入的时候不关注序的问题。ROR算法会在此过程中动态的选择主线程收集当前已...
物联网存储介绍
设备时序数据：主要数据为传感器采集数据、设备监控数据和设备轨迹数据，具有极少更新、数据规模大等特点，需要使用时序模型存储，并且支持高并发写入、低成本海量数据存储以及灵活的查询分析能力。表格存储针对物联网场景中的数据存储需求...
时序模型介绍
时序模型通过时序表存储时间序列数据，能提供高并发写入和查询以及PB级海量数据的低成本存储。您还可以通过SQL查询与分析时序数据。模型介绍 表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、...
MongoDB 分片集群介绍
需要的存储总量是N，那么您的业务需要的shard和mongos数量按照以下公式计算：numberOfShards=N/M/0.75（假设容量水位线为75%）numberOfMongos=2+（对访问要求不高，至少部署2个mongos做高可用）分片集群用于解决高并发写入（或读取）数据的...
数据同步概述
实时数仓Hologres是一款兼容PostgreSQL 11协议的实时数仓，与大数据生态无缝连接，支持高并发地实时写入，数据写入即可查，同时也支持离线数据的加速查询、实时数据和离线数据联邦分析，助力快速搭建企业级实时数仓。Hologres数据同步说明 ...
云数据库RDS简介
阿里云关系型数据库RDS（Relational Database Service）是一种安全稳定可靠、高性价比、可弹性伸缩的在线数据库服务。RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，...
SQL限流（rds_ccl）
当您的数据库遇到高并发挑战或特定SQL语句资源消耗过高时，云数据库RDS PostgreSQL为您提供了SQL限流功能。该功能可以有效防止特定SQL语句导致的资源过度消耗，确保您的数据库系统稳定运行，更好地服务业务需求。背景 SQL限流是一种重要的...
SQL限流（rds_ccl）
当您的数据库遇到高并发挑战或特定SQL语句资源消耗过高时，云数据库RDS PostgreSQL为您提供了SQL限流功能。该功能可以有效防止特定SQL语句导致的资源过度消耗，确保您的数据库系统稳定运行，更好地服务业务需求。背景 SQL限流是一种重要的...
限制说明
事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当数据访问分布比较均匀，数据没有明显的冷热分别时，大量的访问请求在云数据库 Memcache 版无法命中，使用云数据库 Memcache 版...
8.0.1和8.0.2版功能对比
支持 支持 查询结果缓存 针对社区Query Cache在并发、内存管理、可能导致系统性能大幅下降上的不足，Fast Query Cache支持高并发、内存动态回收、自适应缓存。支持 支持 联邦引擎支持 支持跨实例访问，在实例A中用SQL查询远程实例B中的数据...
全球多活使用限制
写入条件不满足 子实例A在1.1时刻收到命令（setnx key->value_A），并于1.2时刻将数据写入至数据库。子实例B在2.1时刻收到命令（setnx key->value_B），并于2.2时刻将数据写入至数据库。在3时刻子实例间执行数据同步将形成冲突。说明 可能...
全球多活使用限制
写入条件不满足 子实例A在1.1时刻收到命令（setnx key->value_A），并于1.2时刻将数据写入至数据库。子实例B在2.1时刻收到命令（setnx key->value_B），并于2.2时刻将数据写入至数据库。在3时刻子实例间执行数据同步将形成冲突。说明 可能...
通过DTS实现数据库的垂直拆分
当RDS实例负载过大时，可以将该实例的一个数据库或表垂直拆分至另外一个单独的实例中。本文介绍如何通过双写方案和简易拆分方案实现垂直拆分。背景信息 假设一个RDS实例上有数据库A和B，随着业务增长实例瓶颈也日趋可见，如想要减轻该实例...
数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
某新能源汽车造车新势力
客户感言 阿里 云原生多模数据库 Lindorm 相比于其他存储引擎和HBase开源版本，提供了更高效的压缩率和同规格下的更大吞吐量，能稳定的支撑高并发、海量数据存储的业务需求。同时提供了成熟的冷热分离方案，大大降低了存储和运维成本，对于...
命令行界面介绍
Influx的命令行界面（CLI），它是一个用来跟数据库进行交互的轻量级工具。有关如何下载使用CLI，可参考文档命令行界面。CLI默认通过端口3242向TSDB For InfluxDB® HTTP API发送请求，直接与TSDB For InfluxDB®通信。说明 也可以向数据库...
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
数据模型
时序数据库除了支持高并发的写入吞吐以及高压缩率，还能高效的满足如下类型的查询请求：查询某条时间线一段时间内的数据点。例如：查询 ID=7AD45EC 的设备，在 2020-10-24T00:00:00Z~2020-10-24T00:30:00Z 30分钟时间范围内，运行 风速 ...
业务切换流程
注意事项 由于执行业务切换操作需要停止数据库写入并暂停业务，请选择业务低峰期操作以降低影响。为便于区分会话信息以及提升数据安全性，建议单独创建并授权一个数据库账号以供数据迁移使用。操作步骤 等待数据迁移任务的进度变更为 增量...
业务切换流程
注意事项 由于执行业务切换操作需要停止数据库写入并暂停业务，请选择业务低峰期操作以降低影响。为便于区分会话信息以及提升数据安全性，建议单独创建并授权一个数据库账号以供数据迁移使用。操作步骤 等待数据迁移任务的进度变更为 增量...
Azure Cosmos DB API for MongoDB迁移至阿里云
使用MongoDB数据库自带的备份还原工具，您可以将Azure Cosmos DB API for MongoDB迁移至阿里云。注意事项 该操作为全量迁移，为避免迁移前后数据不一致，迁移开始前请停止数据库写入。如果您之前使用 mongodump 命令对数据库进行过备份操作...
UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
- 产品推荐
- 这些文档可能帮助您