Hash Clustering
在实际测试中，某些极端情况下，排序存储的表可以比无序表的存储空间节省50%。对于生命周期很长的表，使用Hash Clustering存储，是一个很值得的优化。以下是一个简单的实验，使用TPC-H数据集中100GB的 lineitem 表，包含了 int、double、...
Hive连接器
临时模拟目录不会用于写入OSS、加密HDFS或外部位置的无序表。写入排序表时会在排序操作期间使用此路径暂存临时文件。设置为禁用时，目标存储将用于在写入排序表时进行暂存，此方式在写入对象存储时效率低下。默认值为true。hive.temporary-...
任务运行失败
MaxCompute表是无序读取的，如果您未进行自定义设置，查询结果也是无序的。MaxCompute同步数据是无序存储的。如果您对数据的顺序有要求，请在数据同步成功后，对数据进行排序。例如，在SQL语句中，需要添加 order by xx limit n对数据进行...
Quick BI怎样解决新交叉表的列调整顺序无效果的问题
问题描述 Quick BI怎样解决新交叉表的列调整顺序无效果的问题。问题原因 现在字段筛选这个功能交互上有些问题，配置完字段筛选后，这个顺序就不变了，以字段筛选里的顺序为准。解决方案 数据面板改变后，可以先取消勾选字段筛选，然后重新...
数仓性能优化
不支持直接使用 tunnel upload 命令将数据导入到range cluster表，因为tunnel上传的数据是无序的。表的其他优化技巧 建议您严格遵循 表设计规范。此外，您还可以利用下列技巧完成表的优化：中间表的利用：适用于数据量非常大，下游任务很多...
数仓性能优化
不支持直接使用 tunnel upload 命令将数据导入到range cluster表，因为tunnel上传的数据是无序的。表的其他优化技巧 建议您严格遵循 表设计规范。此外，您还可以利用下列技巧完成表的优化：中间表的利用：适用于数据量非常大，下游任务很多...
消息重试
表 1.TCP协议无序消息重试间隔 第几次重试 重试间隔 第几次重试 重试间隔 1 10秒 9 7分钟 2 30秒 10 8分钟 3 1分钟 11 9分钟 4 2分钟 12 10分钟 5 3分钟 13 20分钟 6 4分钟 14 30分钟 7 5分钟 15 1小时 8 6分钟 16 2小时 配置方式 重要 ...
设置列索引的排序键
挑选TPC-H的部分查询语句进行测试，查询时间结果见下表：查询SQL 无序数据集（秒）有序数据集（添加分区和排序列）（秒）Q3 71.951 36.566 Q4 46.679 32.015 Q6 34.652 4.4 Q7 74.749 34.166 Q12 86.742 28.586 Q14 50.248 12.56 Q15 79.22...
DQL操作常见问题
MaxCompute中表的读取是无序的。如果您没有进行自定义设置，查询获取的结果也是无序的。如果您对数据的顺序有要求，需要对数据进行排序。例如，在SQL中需要加上 order by xx limit n 对数据进行排序。如果您需要对数据进行全排序，只需要将...
2022年
无 增量排序 新增增量排序功能（IncrementalSort Feature），增量排序会定期巡检表的数据状态，对新增无序数据进行排序，并与已有有序数据进行增量归并。无 Locale 新增zh_CN locale，用于支持中文字符集。无 zhparser插件 新增zhparser...
自动增量排序
自动增量排序会定期巡检表的数据状态，对新增无序数据进行排序，并与已有有序数据进行增量归并。自动增量排序功能默认全局开启，无需使用自动增量排序的表可以关闭该功能，具体操作方法，请参见 开启或关闭表级别自动增量排序。如果您需要...
2021年
自动增量排序会定期巡检表的数据状态，对新增无序数据进行排序，并与已有有序数据进行增量归并。自动增量排序仅对设置了排序键的AO行存表和AOCS列存表生效。自动增量排序 闲置连接自动关闭 为避免查询完成后连接未断开导致大量闲置（idle）...
CREATE TABLE
不支持Tunnel直接Upload到Range聚簇表，因为Tunnel上传数据是无序的。stored by StorageHandler 可选。按照外部表数据格式指定StorageHandler。with serdeproperties(options)可选。外部表的授权、压缩、字符解析等相关参数。osslocation ...
表操作
不支持Tunnel直接Upload到Range聚簇表，因为Tunnel上传数据是无序的。不支持备份恢复功能。外部表参数 stored by StorageHandler：可选。按照外部表数据格式指定StorageHandler。with serdeproperties(options)：可选。外部表的授权、压缩...
表操作
不支持Tunnel直接Upload到Range聚簇表，因为Tunnel上传数据是无序的。不支持备份恢复功能。外部表参数 stored by StorageHandler：可选。按照外部表数据格式指定StorageHandler。with serdeproperties(options)：可选。外部表的授权、压缩...
实时计算（Blink）消费
字段顺序支持无序，建议您在设置时字段顺序和表中参数顺序一致。如果一个Shard没有新数据写入，会导致任务的整体延迟增加。在这种情况下，只需要把并发数调整为读写的Shard数量即可。针对_tag_:_hostname_、_tag_:_path_等字段，去掉前面的...
列存索引如何实现高效数据过滤
以SQL SELECT*FROM sales JOIN items ON sales.item_id=items.id WHERE items.price>1000 为例，sales表是事实表，items是维度表，维度表较小，通过条件price>1000可以进一步减少返回的记录数。在执行join时，可以依据满足条件的item_id...
消息重试
无序消息的重试 对于无序消息（普通、定时、延时、事务消息），当消费者消费消息失败时，您可以通过设置返回状态达到消息重试的结果。无序消息的重试只针对集群消费方式生效；广播方式不提供失败重试特性，即消费失败后，失败消息不再重试...
HTTPDNS解析结果IP的连通性
问题描述 HTTPDNS解析结果IP的连通性是无序的 问题原因 HTTPDNS服务器将终端用户的IP信息直接交付给权威DNS，根据终端用户的IP信息进行精准调度返回就近节点，但是并不对结果ipList进行排序。解决方案 可以配置IP探测 setIpProbeItems()来...
消息负载均衡策略
生产者负载均衡策略 无序消息（普通消息、事务消息、定时和延时消息）：Producer将消息以轮询的方式发送至Queue，如下图所示：图中Msg1、Msg2代表第一条消息、第二条消息，生产者会把第一条消息发送至Queue 1，然后第二条消息发送至Queue 2...
导出 Word 文档
由于格式限制，导出的 Word ...检查列表显示为无序列表；2.引用内容显示为普通段落；3.附件、网页书签、关联内容（任务、文件、文件夹、Gist 代码、Framer 原型）将以超链接显示；4.文本颜色统一显示为黑色；5.部分图片可能超出页边距显示。
MaxCompute表的高级功能
本文为您介绍MaxCompute表的生命周期、避免全表扫描、小文件以及Hash Clustering表等高级功能。生命周期 MaxCompute为表和分区提供数据生命周期...由于Tunnel方式上传的数据是无序的，因此不支持直接使用Tunnel上传数据到Range Cluster表。
新建序列
是否排序 指定序列的取值是否有序，有序取值场景下，序列的取值性能不如无序。是否循环 指定序列取值超过指定的 最大值 后，是否重新从最小值开始取值。单击 下一步：确认 SQL 按钮后，进入SQL创建确认页面。根据您指定的信息会预生成一个 ...
创建多表join
辅表个数不超过10个 支持 表A（主表）、表B、表C、表D 表A（主表）->表B->表C->表D 超过2层多表数据关联 不支持（独享型可支持3层）表A（主表）、表B 表A->表B，表B->表A 环状多表数据关联 不支持 表A（主表）、表B、表C…表K 表A（主表）-...
申请、续期和交还表权限
如果您需要使用他人开发的表，则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。审批流程说明 若数据表权限申请审批单生成后，修改了审批流程设置（如权限申请从开启变更为关闭），则依然按照申请时执行，审批通过，则会...
申请、续期和交还表权限
如果您需要使用他人开发的表，则需要申请该表的权限。本文为您介绍如何申请、续期和交还表权限。审批流程说明 若数据表权限申请审批单生成后，修改了审批流程设置（如权限申请从开启变更为关闭），则依然按照申请时执行，审批通过，则会...
授权与回收表权限
表类型 支持选择 建模逻辑表、标签逻辑表、物理表、元表、镜像表、物理视图、逻辑视图。环境 选择数据表所在的环境，支持选择 生产环境、开发环境。数据板块 当表类型选择为 逻辑视图、建模逻辑表、标签逻辑表 时，需要选择逻辑表所在的...
授权与回收表权限
表类型 支持选择 建模逻辑表、标签逻辑表、物理表、元表、镜像表、物理视图、逻辑视图、物化视图。环境 选择数据表所在的环境，支持选择 生产环境、开发环境。数据板块 当表类型选择为 逻辑视图、建模逻辑表、标签逻辑表 时，需要选择逻辑...
表管理
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
查看及管理逻辑表相关对象
逻辑表的相关对象，指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务（当前表是此任务的输入表）/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 请参见 数据开发入口，...
查看及管理逻辑表相关对象
逻辑表的相关对象，指关联维度引用了当前表的其他逻辑表、当前表引用读取的表及引用了当前表的计算/集成任务（当前表是此任务的输入表）/逻辑表。本文为您介绍如何查看及管理逻辑表的相关对象。逻辑表相关对象入口 请参见 数据开发入口，...
创建外部表
高级选项 表名冲突 创建表时，如果数据库中已存在当前创建的表名称，您可以根据需要选择如下处理方式：忽略，继续创建其他表：忽略当前创建的表，继续创建其他表。更新，修改同名表：更新已有表的数据。报错，不再重复创建：产生报错，不再...
手工表概述
表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：支持查看表的发布版本信息，包括 版本更新时间、负责人、更新操作类型。搜索：支持查找当前表数据或替换表数据内容。自...
新建镜像表
镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。背景信息 如果Flink任务的生效模式为实时和离线，则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表，镜像表映射了实时表和离线表。您...
手工表概述
表详情：查看表的详情信息，包括 数据表名、负责人、手工表最近修改人、手工表最近修改时间、表描述、表结构。版本：支持查看表的发布版本信息，包括 版本更新时间、负责人、更新操作类型。搜索：支持查找当前表数据或替换表数据内容。自...
新建镜像表
镜像表帮助您统一管理Flink计算任务中的实时表和离线表。本文为您介绍如何生成镜像表。背景信息 如果Flink任务的生效模式为实时和离线，则新建计算任务开发即有实时表又有离线表。Dataphin支持新建镜像表，镜像表映射了实时表和离线表。您...
时序表操作
创建时序表后，您可以使用表、查询表信息、列出表名称、更新表以及删除表。说明 关于时序模型的更多信息，请参见 时序模型概述。创建表 创建一张时序表，同时指定时序表的数据生命周期（TimeToLive）。命令格式 create-m mode-t tableName-...
可视化管理内部表、外部表或视图
背景信息 MaxCompute Studio支持的表或视图操作如下：创建内部表、外部表或视图 修改内部表或外部表 查看内部表、外部表或视图详细信息 清空表数据或删除分区 删除内部表、外部表或视图 创建内部表、外部表或视图 在IntelliJ IDEA界面的...
数据质量监控
其中：现场开发类表：可选择显示总数据表、未完成的数据表、已暂停开发的数据表或质量较差的数据表。同步专网和产品部署类表：可选择显示总数据表或质量较差的数据表；同时显示产出异常（任务停止和运行失败）的数据表数，您可通过设置...
镜像表和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
- 产品推荐
- 这些文档可能帮助您