行转列及列转行最佳实践
姓名|语文|数学|物理|+-+-+-+-+|张三|74|83|93|李四|74|84|94|+-+-+-+-+说明 在实际业务开发过程中，如果您遇到行转列需求，还可以通过 Lateral View、EXPLODE 函数、INLINE 函数以及 TRANS_ARRAY 函数将单行数据转为多行数据。列转行示例 ...
行列转换
行转列 方法一：通过CASE WHEN语句 SELECT username,max(CASE WHEN subject='语文' THEN score END)AS `语文`,max(CASE WHEN subject='数学' THEN score END)AS `数学`,max(CASE WHEN subject='英语' THEN score END)AS `英语` FROM pivot ...
Broker Load
从HDFS导入一批数据 file1.txt，指定超时时间和过滤比例，并且将原有数据中与导入数据中 age的列相匹配的行删除，其他行正常导入，示例如下。LOAD LABEL test_db.test_05(MERGE DATA INFILE("hdfs:/hdfs_host:hdfs_port/example/file1.txt...
交叉表
交叉表最大支持导出1万行数据，导出数据的时间因电脑配置或数据量不同而有所差异，更多内容请参见 导出数据。在 过滤器 中设置过滤条件，具体请参见 字段过滤。数据面板配置 您可以在数据面板进行以下操作：批量添加字段 按 Shift/command ...
读取数据
``return_row``表示行数据，包括主键列和属性列，类型都为list，例如[('PK0',value0),('PK1',value1)]。``next_token``表示宽行读取时下一次读取的位置，编码的二进制。def get_row(self,table_name,primary_key,columns_to_get=None,...
概述
如您有关于列存索引的使用问题，请进钉钉群咨询，群号：27520023189。版本要求 企业版 集群，集群版本需满足以下条件之一：PolarDB MySQL版 8.0.1版本，且修订版本为8.0.1.1.22及以上。PolarDB MySQL版 8.0.2版本，且修订版本为8.0.2.2.12...
管理问题数据
查看问题数据 您可以进入 任务查询 页面，找到目标表，单击 操作 列的 详情，在任务详情页面单击 问题数据 查看本次问题数据产生的质量监控规则、问题数据表详情、问题数据预览。说明 若预览问题数据无权限或通过命令查询问题数据表无权限...
INSERT ON CONFLICT(UPSERT)
分为整行更新和部分列更新，部分列更新指如果写入的一行数据不包含所有列，缺失的列不更新。通过 insert on conflict do update 实现。InsertOrReplace 写入覆盖，结果表有主键，实时写入时如果主键重复，按照主键更新。如果写入的一行数据...
测试方法
单表准备20亿行基础数据，每行数据20列，value为20byte。ycsb的配置文件为：recordcount=2000000000 operationcount=150000000 workload=...
测试方法
单表准备20亿行基础数据，每行数据20列，value为20byte。ycsb的配置文件为：recordcount=2000000000 operationcount=150000000 workload=...
ST_AsGeobuf
geomName geom_name是行数据中Geometry列的列名。如果为NULL，则默认为找到的第一个Geometry列。描述 Geobuf无法流式传输。示例 SELECT ST_AsGeobuf(q)FROM(select ST_GeomFromText('POINT(116 40)',4326))as q;st_asgeobuf-\x1800220b0a...
ST_AsGeobuf
geomName geom_name是行数据中Geometry列的列名。如果为NULL，则默认为找到的第一个Geometry列。描述 Geobuf无法流式传输。示例 SELECT ST_AsGeobuf(q)FROM(select ST_GeomFromText('POINT(116 40)',4326))as q;st_asgeobuf-\x1800220b0a...
ST_AsGeobuf
geomName geom_name是行数据中Geometry列的列名。如果为NULL，则默认为找到的第一个Geometry列。描述 Geobuf无法流式传输。示例 SELECT ST_AsGeobuf(q)FROM(select ST_GeomFromText('POINT(116 40)',4326))as q;st_asgeobuf-\x1800220b0a...
MaxCompute数据源
例如，您想抽取的每一行数据值为age列对应的值，name列对应的值，常量日期值1988-08-08 08:08:08，id列对应的值，则您应该配置为"column":["age","name","'1988-08-08 08:08:08'","id"]，即常量列首尾用符号 ' 包住即可。内部实现上识别...
数据存储
一张表由行（Row）和列（Column）组成，其中行表示一行数据，列表示一行数据中不同的字段。语法 CREATE TABLE[IF NOT EXISTS][database.]table(column_definition_list,[index_definition_list])[engine_type][keys_type][table_comment]...
PolarDB MySQL版8.0.2版本发布日志
修复只读列存节点在涉及列存索引表的DDL执行过程中启动时，无法恢复列存数据的问题。修复在某些特殊场景下，在包含Recursive CTE的查询语句中不能使用弹性并行查询（ePQ）功能的问题。修复执行库表恢复的新流程时，只读（RO）节点注册位点...
X-Engine引擎使用须知
插入12000行数据，触发commit in middle，前10000行数据已经提交。rollback;回滚只能把最后2000条数据回滚。select count(*)from t1;这里仍然能够查询到10000条数据。count(*)|+-+|10000|+-+1 row in set(0.00 sec)用户开启一个事务删除...
分区表常见问题
您也可以通过分区函数把数据列转化成整型列，来使用HASH/RANGE/LIST分区表。分区表有什么使用上的限制？最大分区数不能超过8192个。单分区数据量最大为64 TB。不支持外键。不支持全文索引（FULL TEXT）。如何创建分区表？在创建表时通过 ...
无锁结构变更概览
DDL无锁变更能够有效解决结构变更时锁表的问题，较好地规避了因锁表导致业务阻塞的问题、避免了数据库原生Online DDL带来的主备延迟现象。您可在业务低峰期提交无锁变更。背景信息 在数据量大的情况下进行结构变更，需要考虑锁表的风险，锁...
离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
迁移服务（MMA）
MaxCompute提供的数据迁移服务支持通过MMA（MaxCompute Migration Assist）服务，将Hive数据安全且高效地迁移到MaxCompute。迁移流程 使用限制 不支持迁移Hive数据至已开启Schema功能的MaxCompute项目。关于Schema介绍详情，请参见 Schema...
PolarDB MySQL版8.0.1版本发布日志
修复只读列存节点在涉及列存索引表的DDL执行过程中启动时，无法恢复列存数据的问题。修复在执行shrink操作的过程中出现异常，导致空间泄露的问题。修复在X-Engine引擎物理复制过程中并发修改数据结构，导致只读节点异常的问题。修复X-...
CREATE TABLE
设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的数据分布策略 建表前，您可以通过下图中的示例，了解关于表的几个重要概念，包括分片、分区、聚集索引。...
RDS MySQL实例间的迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现 RDS MySQL 实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移...
自建Oracle迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle数据迁移至 RDS MySQL 实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle...
交叉表
如果展示合计列数据后，使表格展示的数据列数大于70列，则系统会再次处理数据，使表格展示数据列数不大于70列。在 数据展示 页签右侧，单击 样式，设置组件展示样式。配置项 说明 全局样式 设置全局字体和背景色。导出数据入口 设置是否...
RDS PostgreSQL迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 RDS PostgreSQL 迁移至 RDS MySQL。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移。支持的源和...
RDS MySQL同步至Elasticsearch
术语及概念对应关系 Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的组织和结构（Schema）操作步骤 进入...
三节点企业系列的RDS MySQL迁移到集群系列的RDS MySQL
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现将三节点企业系列的 RDS MySQL 实例的数据迁移到集群系列的RDS MySQL。前提条件 已创建源和目标 RDS MySQL 实例，创建方式，请参见 快速创建RDS MySQL实例。目标...
PolarDB MySQL版迁移至RDS MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至MySQL（包括自建MySQL和 RDS MySQL 实例）。支持的目标数据库 PolarDB MySQL版 除了支持迁移至 RDS MySQL 以外，还支持迁至以下类型的自建数据库。说明...
从自建MySQL迁移至RDS MySQL实例
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地、ECS或其他云上的MySQL数据库迁移至 RDS MySQL 实例。DTS支持库表结构迁移、全量迁移以及增量迁移，同时使用这三种迁移类型可以实现在自建...
RDS MySQL迁移至Elasticsearch
Elasticsearch与关系型数据库的映射关系如下表所示：Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的...
自建MySQL迁移至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地、ECS或其他云上的MySQL数据库迁移至 RDS MySQL 实例。DTS支持库表结构迁移、全量迁移以及增量迁移，同时使用这三种迁移类型可以实现在自建...
免费体验Lindorm宽表性能&价格力
测试数据 单行读 场景：20亿行基础数据，每行数据20列，value为20byte，查询区间为1000万行。范围读 场景：20亿行基础数据，每行数据20列，value为20byte。查询区间为1000万行，每次范围读取50行。单行写 场景：每次插入1列，value为20byte...
主键与唯一键（AUTO模式）
如果云原生数据仓库AnalyticDB MySQL版的主键沿用 PolarDB-X 的主键，就可能出现冲突，此时建议将云原生数据仓库AnalyticDB MySQL版的主键设为 PolarDB-X 表的主键列和分区列的全部集合。唯一键 与主键类似，在 PolarDB-X 中，唯一键分为...
Tablestore Stream配置同步任务
说明 Tablestore Stream配置同步任务时，请注意以下问题：如果配置任务为日调度，您可以读取当前时间24小时以内的数据，但会丢失当前时间前5分钟的数据。建议您配置任务为小时调度。设置的结束时间不能超过系统显示的时间，即您设置的结束...
DML
请注意，使用ALLOW FILTERING的查询可能造成服务端出现不可预测的性能问题，即使选择少数记录的查询也可能表现，这取决于集群中存储的数据总量。例如，创建的如下表格，其中包含用户个人资料及其出生年份（带有次级索引）和居住国家/地区：...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文介绍如何使用DataWorks数据同步功能，将 云消息队列 Kafka 版 集群上的数据迁移至阿里云大数据计算服务MaxCompute，方便您对离线数据进行分析加工。前提条件 在开始本教程前，确保您在同一地域中已完成以下操作：云消息队列 Kafka 版 ...
RDS MariaDB同步至RDS PoatgreSQL
数据传输服务DTS（Data Transmission Service）支持将 RDS MariaDB 实例同步至 RDS PostgreSQL。前提条件 已创建存储空间大于源RDS MariaDB实例已占用存储空间的目标RDS PostgreSQL实例。具体操作，请参见 快速创建RDS PostgreSQL实例。已...
PolarDB MySQL版迁移至云原生数据仓库 AnalyticDB ...
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 迁移至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建目标 AnalyticDB PostgreSQL版 实例，如未创建请参见 创建实例。目标 AnalyticDB PostgreSQL...
- 产品推荐
- 这些文档可能帮助您