数据规范
对于已经产出完成暨可用的数据分区，需要产出一个标识分区，分区字段值为对应数据分区的分区字段值后加.done，例如数据分区为 20210822，则对应的标识分区为 20210822.done。定时执行 如果您设置的全量调度策略为“定时执行”，则aime会...
基本概念
设计时只能通过API获取这个字段的描述，运行时可以通过API获取这个字段对应的数据值。形式上是一个对象，通过API获取数据值。数据源：描述组件绑定的数据源，如从上下文中获取实体对象、从数据库读取实体对象、从逻辑流获取实体对象。形式...
快速开始
DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、有趣的方式快速理解数据，让更多用户能便捷高效地利用数据可视化...
实现数据筛选
本文以 柱状图 控制 轮播列表 组件数据更新为例，实现数字大屏中的自定义数据筛选。效果展示 操作步骤 登录 DataV控制台。选择任一数据看板，单击 编辑，进入画布编辑器页面。添加 柱状图 组件和 轮播列表 组件到画布中。单击 轮播列表 ...
字段分析
当日志数目超过了1亿条，会进行采样分析（采样规则是将采样后的数据控制在1亿条左右），如果要避免这种采样，建议您可以缩小时间范围或者增加过滤条件。查看字段分析 登录 日志服务控制台。在Project列表区域，单击目标Project。在控制台...
折线类常见问题
当数据里有 s 字段时，不同的 s 字段值为不同的系列（多条折线）。说明 配置项中的样式渲染默认按照数据的顺序。即如果第一个出场的数据是系列2，则该系列的数据将以配置项中的第一个系列样式来渲染。如果系列期望特定的排序，建议使用过滤...
多表连接
本文介绍多表连接算子的使用方法及注意事项。用途 多表连接算子可以将多张数据表按照设置的连接条件进行连接。多表连接 算子是 两表交集 算子...如果不同来源节点中存在相同的字段名称或者字段代码，需要手动修改重复的字段名称或者字段代码。
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
数据建模
数据唯一性 表分区所选字段值去重后的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!字段规则说明：配置项 说明 最大值 对应分区，该字段的最大值与期望的固定值进行比较，符合规则则...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
配置MaxCompute输出组件
对于没有同步写权限的数据源，您可以单击数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请、续期和交还数据源权限。如果您还没有MaxCompute类型的数据源，单击 新建，创建数据源。具体操作，请参见 创建MaxCompute数据源。...
配置MaxCompute输出组件
对于没有同步写权限的数据源，您可以单击数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请、续期和交还数据源权限。如果您还没有MaxCompute类型的数据源，单击 新建，创建数据源。具体操作，请参见 创建MaxCompute数据源。...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 离线管道...
数据标准概述
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
质量规则模板类型
一致性 单表字段值一致性比较 用于对同一表两个字段原值进行数据的对比。单表字段统计值一致性比较 用于对同一表两个字段进行统计数据的对比，如求和值、最大值等。单字段业务逻辑一致性比较 用于对同一表多个字段的复杂业务逻辑是否正确...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
配置数据识别规则
字段名称识别 在输入框中输入需要识别为敏感数据的字段，支持多个字段匹配，各字段间为或关系。输入格式为：project.table.column，其中任一段可以使用*作为通配符，例如。abcd.efg.*：abcd的project下efg表中所有字段都会被识别为敏感数据...
有约束的列修改类型
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有、all 表示全部类型。主键（PRIMAEY KEY）约束下...
有约束的列修改长度
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于修改不同约束下的列的字段长度的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型、短横线（-）表示没有。主键（PRIMARY KEY）约束下字段长度的修改 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
有约束的列修改长度
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
手动修正数据
您可以查看已有的敏感字段类型是否满足需求：满足需求：则选择其他已有敏感字段类型，并单击右侧的 图标进入 数据识别规则 页面修改原敏感字段类型对应的识别规则和修改后的敏感字段类型对应的识别规则，以保证后续识别的准确性。...
单选
①来源于数据集：选择 数据集 后可支持数据集内 数据字段 选择您所需要的选项。②数据集：下拉菜单选择当前空间中的 某一个数据集。③数据字段：下拉菜单选择所选数据表中的 某一个数据字段。④默认值：根据设置 数据字段内容 进行下拉选择...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
新建和管理公共标准属性
当选择 数据分类/数据分级 属性时，将对比数据标准中指定的数据分类数据分级值和其映射到的字段在安全模块配置中的数据分类数据分级值是否一致。需要开通资产安全模块才支持数据分类数据分级属性的监控。内容质量监控（需开通资产质量模块...
通过SQL模式创建API（Dataphin表）
试运行输入值 需要配置成绑定字段的字段值，可以在 数据预览 页面选择绑定字段的字段值。单击 解析参数 后，Dataphin会自动解析出API SQL的入参和出参并分别添加至 请求参数 和 返回参数 区域。请求参数和返回参数的基本信息基本一致，下表...
统计分组
一旦选择为 分组字段 后，算子将会本次请求中的字段值和历史请求数据进行分组。例如：选择“性别”作为分组字段，则算子会使用性别字段分组，分成“男”、“女”、“”。统计项 统计项是对经过统计范围筛选后的数据进行分组聚合操作。统计...
查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
字段值映射处理
您在使用Logtail采集日志时，可以使用processor_dict_map插件进行字段值映射。本文介绍processor_dict_map插件的参数说明和配置示例。重要 表单配置方式：采集文本日志和容器标准输出时可用。JSON配置方式：采集文本日志时不可用。功能入口...
概述
DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生更多的价值，将数据价值最大化。前提条件 您需要开通DataWorks智能数据建模后，才可以使用该产品功能，详情请参见 智能...
数据脱敏
赋权对象 参数说明 仅对TA们有效 指定用户或用户组后，后续查看上述指定字段的数值时：指定的用户或用户组：查看到的字段值会根据配置的权限规则而受限，只能看到脱敏后的字段值。指定的用户或用户组外的其他用户：不受权限规则限制，可...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
配置逻辑表关联字段标准
说明 逻辑表对应字段关联数据标准中的值后，如果确认用标准字段的名称覆盖当前逻辑表字段的名称，则单击 确认 后，逻辑表中该字段的名称会自动更改为数据标准中对应的数据元、指标、或者维度的code值，例如：逻辑表中的手机号码原始字段...
日历
简介 日历组件与日期组件类型，都可用于展示和修改外层数据容器的DATETIME类型字段。不同点在于日期组件展示为一个输入框，而日历组件展示为一个日历。属性配置 日历组件属性由以下部分组成：分类 参数 示例 说明 属性 只读 通过设置日历...
- 产品推荐
- 这些文档可能帮助您