通过数据同步功能同步SLS至湖仓版（推荐）
例如，源字段为gmt_created，源字段格式为yyyy-MM-dd，目标字段名为year，目标字段分区配置为yyyy，表示按年进行分区。指定分区字段方式是直接按列分区。同步配置 的参数说明如下：参数名称 参数说明 增量同步起始消费位点 同步任务启动时...
通过数据同步功能同步Kafka至湖仓版（推荐）
建议按日志时间或者业务逻辑配置分区，以保证入湖与查询性能。如不设置，则目标表默认没有分区。目标端分区键的格式处理方法分为：时间格式化和指定分区字段。按日期时间分区，分区字段名请选择一个日期时间字段。格式处理方法选择时间格式...
Hive数据源
Hive Writer底层的逻辑和HDFS Writer插件一致，您可以在Hive Writer插件参数中配置HDFS Writer相关的参数，配置的参数会透传给HDFS Writer插件。支持的版本 Hive插件支持的版本 0.8.0 0.8.1 0.9.0 0.10.0 0.11.0 0.12.0 0.13.0 0.13.1 0.14...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
Dataphin管道任务运行失败，提示“分区配置错误”
问题描述 Dataphin管道任务运行失败，提示“分区配置错误”。问题原因 输入配置中分区配置异常，写成了ds。解决方案 分区配置需填写具体分区，如需导入多分区，建议分任务执行。适用于 Dataphin 说明：本文适用于公共云v2.9.4-3版本数据...
Dataphin管道任务表分区如何配置当天时间
问题描述 Dataphin管道任务表分区配置当天时间的方法。解决方案 需要在调度配置页面配置“参数配置”，并且表分区中使用配置的变量，在运维环境中执行。适用于 Dataphin 版本v3.6.2 运维环境
逻辑表运行配置
本文将为您介绍如何配置逻辑表运行设置。操作步骤 请参见 数据开发入口，进入数据开发页面。在数据 开发 页面，选择您需配置调度的维度逻辑表，进入调度配置信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表 运行配置。参数 ...
概述
表分区裁剪：根据过滤条件进行逻辑分区（Split）的细化匹配，提前筛选出无效的Split，降低服务端的数据出口量。Projection和Filter下推：将Projection列和Filter条件下推到服务端，降低每个分区的数据出口量。动态指定Split大小：支持调整...
Topic删除后不能减少分区？
问题现象 您在删除某个分区数为XX的Topic后，再次创建该Topic并将分区数配置为小于XX，系统提示 创建topic成功，分区数不能小于曾经配置过的分区数，已重置为XX。可能原因 老版本删除Topic时，不会彻底清除路由，导致再次创建Topic时无法...
逻辑表运行配置
本文将为您介绍如何配置逻辑表运行设置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发，默认进入数据 开发 页面。在数据 开发 页面，按照下图指引，进入调度配置信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表 运行...
配置LogicalTable输入组件
同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建逻辑表。具体操作，详情请创建 规范建模概述。进行...
配置LogicalTable输入组件
同步Dataphin中逻辑表的数据至数据源的场景中，您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建逻辑表。具体操作，详情请创建 规范建模概述。进行...
初始化云盘
一块全新的云盘挂载到ENS实例后，还不能直接存储数据，您需要为云盘...说明 如果您的整块云盘只呈现为一个独立的分区（例如：/dev/vdb），不需要划分逻辑分区（例如：/dev/vdb1、/dev/vdb2 等），云盘初始化时直接在云盘上创建文件系统即可。
读数据表
分区配置（可选）对于支持分区的计算资源（如MaxCompute、Hive），在 分区配置 中，可以读取指定分区的数据。分区字段：分区表中用于分区的字段。分区值类型：读取分区值的类型，支持。最新分区（仅MaxCompute）：在运行时，读取分区表的...
创建表
基本信息配置：列配置：分区配置：高级属性：配置好上述参数后，单击保存。通过DMS页面创建普通表 登录 分析型数据管理控制台。在控制台左上方选择数据库所属地域。单击目标数据库右侧的登录数据库，在DMS for AnalyticDB页面的顶部菜单栏...
步骤一：开发维度逻辑表
步骤三：配置逻辑表计算逻辑 在计算逻辑配置页面，单击 来源配置，进入 来源配置 对话框。在 来源配置 对话框，单击 添加来源对象，配置来源参数。参数 描述 来源表名 选择 d ataphin_tutorial.product 来源表。关联主键字段 选择 product_...
步骤一：开发维度逻辑表
步骤三：配置逻辑表计算逻辑 在计算逻辑配置页面，单击 来源配置，进入 来源配置 对话框。在 来源配置 对话框，单击 添加来源对象，配置来源参数。参数 描述 来源表名 选择 d ataphin_tutorial.product 来源表。关联主键字段 选择 product_...
快速入门
目前管控台默认固定的MaxCompute分区格式，分区配置对应为：分区 时间Format 说明 ds%Y%m%d day hh%H hour mm%M minute 分区间隔决定了根据时间戳转换MaxCompute分区时所采用的时间间隔。时间范围是 15分钟~1440分钟（1天），跳变间隔 15...
步骤二：开发事实逻辑表
步骤二：配置逻辑表字段 在 表结构 配置页面，单击 从表引入。在 添加字段从表引入 对话框中，选择 dataphin_tutorial.orders 来源表并选择 order_time、payment_amount 字段。说明 主键、关联维度关联字段等已自动添加，无需勾选。单击 ...
步骤二：开发事实逻辑表
步骤二：配置逻辑表字段 在 表结构 配置页面，单击 从表引入。在 添加字段从表引入 对话框中，选择 dataphin_tutorial.orders 来源表并选择 order_time、payment_amount 字段。说明 主键、关联维度关联字段等已自动添加，无需勾选。单击 ...
Quick BI抽取加速时报错：分区配置错误，根据您所配置...
概述 Quick BI抽取加速时报错：分区配置错误，根据您所配置的分区没有匹配到源头表的分区。详细信息 这个抽取加速默认是T-1的，勾选了最新分区后会同步当天的分区数据，但是底表数据没有产出的话就会报错，因为底表没有对应的分区。建议...
创建同步MaxCompute
目前管控台默认固定的MaxCompute分区格式，分区配置对应为 分区 时间Format 说明 ds%Y%m%d day hh%H hour mm%M minute 分区间隔决定了根据时间戳转换MaxCompute分区时所采用的时间间隔。时间范围是 15分钟~1440分钟（1天），跳变间隔 15...
Dataphin数据同步报错“分区配置错误，根据您所配置的...
问题描述 Dataphin配置数据同步任务，报错“分区配置错误，根据您所配置的分区没有匹配到源头表中的分区”。com.alibaba.dt.pipeline.plugin.center.exception.DataXException: Code:[OdpsReader-33],Description:[分区配置错误.].-分区...
配置逻辑表数据延迟
在调度配置页面，配置逻辑表的数据延迟。开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。可选择 1~15天。如下所示：说明 当前逻辑表无设置事件时间字段、无主键、逻辑表已开启自定义物化时，不支持开启延迟数据...
配置逻辑表数据延迟
在调度配置页面，配置逻辑表的数据延迟。开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。可选择 1~15天。如下所示：说明 当前逻辑表无设置事件时间字段、无主键、逻辑表已开启自定义物化时，不支持开启延迟数据...
逻辑表
配置说明 初始化 配置逻辑库后，系统会根据逻辑库下的物理表结构自动抽取逻辑表。抽取规则如下：同一个物理表只能出现在一个逻辑表配置中。同一个逻辑表对应的所有物理表的结构（包含字段名、字段类型）必须保持一致，若不一致则无法聚合...
flash
AliOS Things的全部标准分区在components/drivers/peripheral/flash/include/aos/hal/flash.h中的hal_partition_t定义，但是这些分区每个板子不一定全都配置了，具体需要参考板子的分区配置，hardware/board/目录下的每个板子都会定义自己...
路由到对象存储OSS
说明 分区配置可以对数据做合理分组，避免单路径下小文件过多造成不可控问题。Connector 的吞吐能力和分区数正相关，无分区或分区少时 Connector 吞吐较弱，可能造成上游堆积问题。分区较多会导致数据分散、写入次数增多、碎片文件多等问题...
创建OSS Sink Connector（新版）
说明 分区配置可以对数据做合理分组，避免单路径下小文件过多造成不可控问题。Connector 的吞吐能力和分区数正相关，无分区或分区少时 Connector 吞吐较弱，可能造成上游堆积问题。分区较多会导致数据分散、写入次数增多、碎片文件多等问题...
单表实时同步至MaxCompute的任务，支持自定义分区配置
单表实时同步至MaxCompute的任务，支持自定义分区配置，本文为您介绍自定义分区的相关步骤。步骤一：新建数据表 选中ODPS节点后，单击右侧面板 一键建表 按钮，可打开建表配置弹窗。分区设置选择 自定义分区，可打开配置面板，如下图所示。...
开发流程
详细操作请参见 创建并配置逻辑流操作。步骤二、开发自定义操作的执行代码 在逻辑流物料面板内下载最新代码模版并解压。对于前端逻辑流：在解压文件目录所在位置安装依赖。对于后端逻辑流：熟悉代码模板工程，设置开发环境。在代码模板工程...
BI分析模式数据面板功能介绍
数据条件系列映射样式配置 字段数据的条件逻辑配置完后，您可以为该字段数据改变包括尺寸、颜色和形状等，各个数据映射通道的样式配置，每个组件在数据条件系列面板内的映射样式配置都不同，您也可以通过组件默认样式配置面板中的方法或...
扩容分区和文件系统（Linux）
例如您有/dev/vdb1（主分区）、/dev/vdb2（扩展分区）、/dev/vdb5（逻辑分区）三个分区，此时您需要依次执行 growpart/dev/vdb 2、growpart/dev/vdb 5 完成分区的扩容。使用growpart工具时，如果出现报错信息，请参见 常见问题 进行排查。...
接入 iOS
mPaaS 提供了配置管理服务（ConfigService）来为 AB 测试实现开关配置。配置管理服务提供了立即拉取的接口以及监听配置项...建议在客户端本地逻辑中设置开关默认值，当控制台发布了新开关时采用新的配置逻辑，拉取失败则采用本地默认逻辑。
MaxCompute数据源
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 更多其他数据集成常见问题请参见 数据集成常见问题。附录：脚本Demo与参数说明 附录：离线任务脚本配置...
05物理化逻辑表
已配置逻辑表的DDL语句，具体操作，请参见 配置逻辑表的DDL语句。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择工作组。在左侧导航栏，选择>数据模型设计。将鼠标悬停至 我的模型 上，单击 ...
配置示例：MaxCompute
配置分区表达式 数据质量通过分区表达式来确定需要配置的规则：如果您的检查对象为非分区表，可以配置分区表达式为 NOTAPARTITIONTABLE。如果您的检查对象为分区表，可以配置为业务日期的表达式（例如$[yyyymmdd-1]）。说明 数据质量规则中...
数据质量入门
操作流程 步骤一：配置分区表达式 通过分区表达式匹配数据质量规则需校验的目标表的分区。步骤二：创建质量规则 根据业务需求，创建校验表数据的质量规则。步骤三：试跑质量规则 运行创建的规则，测试验证规则的正确性。步骤四：质量规则...
- 产品推荐
- 这些文档可能帮助您