数据序列化和持久化
T*字符串，每个元素为字符类型 元素字符用 utf-8 编码 先入以 LEB128 编码的 uint32 表达元素个数，然后遍历放入元素。hello世界"=>0B,68,65,6C,6C,6F,E4,B8,96,E7,95,8C std:string Utf8String 数组，元素必为上述内置整型或string类型 ...
数据序列化和持久化
T*字符串，每个元素为字符类型 元素字符用 utf-8 编码 先入以 LEB128 编码的 uint32 表达元素个数，然后遍历放入元素。hello世界"=>0B,68,65,6C,6C,6F,E4,B8,96,E7,95,8C std:string Utf8String 数组，元素必为上述内置整型或string类型 ...
交付周期表
下面以 2 个例子来解读交付周期表。例 1：产品团队接收并采纳了用户希望优化产品功能的需求，产品团队从接收需求到需求上线需要经过「接收需求-采纳需求-产品方案-产品设计-产品开发-产品测试-产品上线」共 7 个阶段，并且从「产品方案」到...
Dataphin新建治理项展示字段含义
即T-1与T-2之间的差值 is_irrelevant_lifecycle string 是否长周期 是否长周期物理表，即长周期表治理项的标签值 node_list string 节点ID列表 通过解析集成任务以及MaxCompute的task信息，获取的物理表与dataphin的周期节点的对应关系。...
创建并管理维表
生命周期 表的存储会占用MaxCompute资源，建议您对表设置合理的生命周期，以便资源回收。如果超过设置的生命周期，表会被删除。选中 我已知晓此风险并确认作为此表owner，对后续此表的变更负责，单击 确认，进入维表的编辑页面查看和修改表...
创建Hologres内部表
生命周期 表的生命周期，单位为秒。默认表的生命周期为永久。说明 从数据首次写入表的时间开始计算，当到达生命周期后，表数据会在某一段时间内被清除（该时间段随机）。Binlog 表是否开启Binlog。Binlog开启时，需指定Binlog的生命周期，...
创建逻辑模型：应用表
生命周期 表存在的时间周期，单位为天。应用表最多支持保存36000天。责任人 当前应用表的责任人。默认为创建应用表的用户。描述 表的描述信息。表类型 根据实际情况，选择如下类型。普通应用表：只能统计单粒度的数据，不会做多个粒度数据...
创建逻辑模型：汇总表
买家交易分阶段付款汇总表 生命周期 表存在的时间周期，单位为天。90天 责任人 当前汇总表的责任人。默认为创建汇总表的用户。描述 表的描述信息。无 表类型 您可以根据业务需求，选择如下表类型。普通汇总表：只能统计单粒度的数据，不会...
CDM明细层设计规范
本文为您介绍CDM明细层的表、数据存储与生命周期管理和各种事实表的设计规范。表命名规范 命名规则：{project_name}.dwd{业务缩写/pub}{数据域缩写}{业务过程缩写}[{自定义表命名标签缩写}]{刷新周期标识}{单分区增量全量标识}。命名说明：...
查看并管理明细汇总表任务
明细汇总表任务是Dataphin针对规范建模创建的逻辑表（维度逻辑表、事实逻辑表、汇总逻辑表）任务提供的字段视角运维功能，本文为您介绍如何查看并管理明细汇总表任务。背景信息 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总...
查看并管理明细汇总表任务
明细汇总表任务是Dataphin针对规范建模创建的逻辑表（维度逻辑表、事实逻辑表、汇总逻辑表）任务提供的字段视角运维功能，本文为您介绍如何查看并管理明细汇总表任务。背景信息 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总...
元数据仓库共享模型（Hadoop）
Dataphin元数据仓库目录 分类 二级分类 表名称 表中文名称 对应通信表 规范建模 规划 dim_dataphin_biz_unit 业务板块表 data_share_finish dim_dataphin_data_domain 数据域表 dim_dataphin_time_period 统计周期表 建模 dim_dataphin_...
元数据仓库共享模型（MaxCompute）
元数据仓库目录 分类 二级分类 表名称 表中文名称 对应通信表 规范建模 规划 dim_dataphin_biz_unit 业务板块表 data_share_finish dim_dataphin_data_domain 数据域表 dim_dataphin_time_period 统计周期表 建模 dim_dataphin_dimension ...
数据归档至专属存储
Q：如何查询某张表周期性归档的所有数据、查询同一张表跨工单归档的所有数据？A：进入逻辑数仓功能页面，在 数据源 页签下，选择 专属湖仓>archive，展开目标数据库，双击目标表名或工单号，此时SQL窗口会自动填充查询SQL，单击 执行，可在...
iOS 符号表管理
符号表元素如下所示：<起始地址><结束地址><函数>[<文件名:行号>]iOS App 出现闪退时，闪退日志中的 Crash 堆栈为混淆后的二进制信息，需要通过符号表对这些二进制堆栈信息进行反向解析，将其转换为可读的函数名和行数，以便定位 App 中...
创建Hologres外部表
后续步骤 Hologres外部表创建完成后，您可通过Hologre外部表周期性导入MaxCompute数据至Hologres内部表：使用命令方式导入，详情请参见 使用SQL导入MaxCompute的数据至Hologres。使用DataWorks可视化方式导入，详情请参见 一键MaxCompute...
2023年
Github公开事件数据 2023年7月更新记录 时间 特性 类别 描述 产品文档 2023-07-31 新增简单用户画像分析（MaxCompute版）新说明 本文以网站用户画像分析为背景，通过使用DataWorks完成数据采集、数据加工、配置数据质量监控、数据可视化...
Dataphin中物理表丢失问题
问题原因 由于创建非分区表的时候，误设置表生命周期，到期后自动回收了。新建test_lifecycle表，生命周期为100天。create table test_lifecycle(key string)lifecycle 100;解决方案 1.建非分区表时，不设置生命周期。2.对已经创建带生命...
公开数据集概述
如果您已开通MaxCompute服务，可以通过MaxComputeSQL分析连接查询公开数据集中的表，以便您快速试用MaxCompute。本文为您介绍公开数据集信息，并指导您如何通过MaxComputeSQL分析连接查询并分析数据。简介 MaxCompute开放的公开数据集类别...
存储成本优化
本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言，有三个关键点：合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...
分析平台设置
项目下运行配置 项目下运行临时表生命周期 该配置适用于项目下运行产生的临时表生命周期，支持 7天、30天、60天 或 自定义（最大可设置生命周期为365天）。单击 保存，完成分析平台设置。后续步骤 完成分析平台设置后，即可前往分析平台...
分析平台设置
项目下运行配置 项目下运行临时表生命周期 该配置适用于项目下运行产生的临时表生命周期，支持 7天、30天、60天 或 自定义（最大可设置生命周期为365天）。单击 保存，完成分析平台设置。后续步骤 完成分析平台设置后，即可前往分析平台...
提交节点时提示：输入输出和代码血缘分析不匹配
如果您不检查直接强制提交节点，可能会导致以下影响：例如，代码中SELECT一张表A，并且表A是个调度节点每天定时产出的表（即表A不是非周期性生成数据的表），如果没有将表A添加为本节点的依赖的父节点，形成依赖关系的时，某次生成表A的...
0014-00000026
问题描述 PutBucketLifecycle请求的请求体XML中 Rule 节点下缺少生命周期操作元素。问题原因 PutBucketLifecycle请求的请求体XML中Rule节点下缺少必选的生命周期操作元素Transition或者Expiration。Transition：达到Object生命周期中指定的...
通过控制台使用分析存储
分析存储的生命周期与时序表的数据生命周期互不影响。取值必须为-1（数据永不过期）或者必须大于等于2592000秒（即30天）的int32正整数。创建的时序表会显示在 时序表列表 页签中。创建时序表后，您可以通过SDK批量写入数据到时序表。写入...
ALS评分
输出表生命周期 输出表生命周期。执行调优 节点个数 取值范围为1~9999。单个节点的内存大小 取值范围为1024 MB~64*1024 MB。输出桩 输出桩（从左到右）数据类型 下游组件 评分结果表 无 无 使用示例 用来评分的user因子表和item因子表：...
使用DMS进行数据归档
调度周期配置表 配置项 说明 调度周期 选择调度任务的周期：小时：按设定的小时执行任务调度，需要配置定时调度。日：按每日一次的频率执行任务调度，需要配置每日调度的具体时间。周：以周为周期，每个指定天执行一次任务调度，需要配置...
创建逻辑模型：明细表
表类型 根据实际情况，选择 事实事务表、周期快照表 或 累加表。配置完成后，单击 保存，保存成功后，可在左侧目录树进行查看。添加表字段 模型创建成功后，您需要为模型添加表字段。说明 您也可以通过FML语句创建字段、关联关系及分区，...
创建并使用MaxCompute表
批量修改表生命周期 您可前往数据地图的 我的数据，批量修改您个人名下表的生命周期。说明 单表生命周期可通过表管理进行修改，详情请参见 新建MaxCompute表。基于业务流程管理表 使用 表管理 新建的表，可通过导入的方式添加至数据开发...
创建并使用MaxCompute表
批量修改表生命周期 您可前往数据地图的 我的数据，批量修改您个人名下表的生命周期。说明 单表生命周期可通过表管理进行修改，详情请参见 新建MaxCompute表。基于业务流程管理表 使用 表管理 新建的表，可通过导入的方式添加至数据开发...
为什么设置表生命周期TTL后，表大小变大了？
表格存储的每行数据都占用一定的存储空间。...如果开启多版本或者设置数据表生命周期，则每个版本的数据需要包括版本号（占用8字节）、列名和数据值，因此表大小会变大。关于数据版本和生命周期的更多信息，请参见 数据版本和生命周期。
列存索引如何实现高效数据过滤
优点是数据预先按分区键分布，通常均具有较好的过滤效果，如果用户大部分查询条件均包含分区键，并且还有按分区管理数据生命周期的需求，分区表pruning是个不错的选择，可根据需要建立一级或二级分区。minmax：一般需要该列数据分布有较好...
计费概述
计费周期 智能媒体服务计费结算周期如下表：计费结算周期 扣费及出账时间 适用的计费项 小时 按小时计费，当前计费周期（小时）结束后出具账单，通常在当前计费周期结束后一小时内（具体出账时间以系统为准）。点播转码 智能审核 视频生产 ...
使用MaxCompute控制台（离线）
生命周期 指定表的可用周期，过期后该表可能无法使用。表生命周期详情请参见 生命周期 和 生命周期操作。预览待上传数据并设置目标表字段。选择待上传数据及存放该数据的目标表后，您可预览数据详情，并配置数据所在文件的列与目标表字段的...
可视化管理内部表、外部表或视图
背景信息 MaxCompute Studio支持的表或视图操作如下：创建内部表、外部表或视图 修改内部表或外部表 查看内部表、外部表或视图详细信息 清空表数据或删除分区 删除内部表、外部表或视图 创建内部表、外部表或视图 在IntelliJ IDEA界面的...
明细粒度事实层（DWD）
明细粒度事实层（DWD）通常分为三种：事务事实表、周期快照事实表和累积快照事实表，详情请参见 数仓建设指南。事务事实表用来描述业务过程，跟踪空间或时间上某点的度量事件，保存的是最原子的数据，也称为原子事实表。周期快照事实表以...
明细粒度事实层（DWD）
明细粒度事实层（DWD）通常分为三种：事务事实表、周期快照事实表和累积快照事实表，详情请参见 数仓建设指南。事务事实表用来描述业务过程，跟踪空间或时间上某点的度量事件，保存的是最原子的数据，也称为原子事实表。周期快照事实表以...
任务编排之电商打标
数据管理DMS任务编排主要用于编排各类任务并进行...具体配置，请参见 调度周期配置表。发布任务流。任务流发布后，此任务流会根据设置的调度周期自动执行。单击画布左上角的 发布。在 发布 对话框中输入 备注 信息，并单击 确认，发布任务流。
代码模式建模
数据表创建完成后，您可以使用脚本模式通过FML语句配置表的字段及分区信息。本文为您介绍如何使用FML语句配置数据表的相关内容。前提条件 DataWorks目前不支持通过FML语言创建数据表，您需要提前使用可视化界面创建好维度表、明细表、汇总...
MySQL整库离线同步到OSS
刷新表映射后，表粒度周期性调度参数配置，支持批量修改或单表定制化修改。您可单击 批量修改 按钮，在下拉列表中找到 周期配置，可以对单表粒度进行配置。更多调度参数配置详情请参见 任务调度属性配置概述。在 周期配置 中，可以设置预期...
- 产品推荐
- 这些文档可能帮助您