从RDS MySQL数据库获取数据进行数据富化
time:1563436326 data:123 city:nanjing province:jiangsu 加工规则 根据指定的RDS MySQL数据库表中的字段值（例如 content 字段的值）去匹配日志字段，其中指定的RDS MySQL数据库表中的字段值为Key-Value形式，Key对应日志字段，Value为正...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
FieldSchema
开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。field_schemas repeated FieldSchema 否 字段配置信息。只有字段类型为嵌套类型时，才需要设置此参数。is_array bool 否 是否为数组。如果设置为true...
ALIYUN:OTS:SearchIndex
您可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。FieldSchemas语法"FieldSchemas":[{"Index":Boolean,"IsArray":Boolean,...
JSON函数
字段样例 Results:[{"EndTime":1626314920},{"RawResultCount":1}]查询和分析语句*|SELECT sum(cast(json_extract_scalar(Results,'$.1.RawResultCount')AS bigint))查询和分析结果 SPL 从 Results 字段中获取 RawResultCount 字段的值。...
文本查询
单击 排除，添加到右侧的 已添加 列表中的字段值被排除。说明 如果您配置默认值时选择排除该字段值，又将下拉列表的样式切换为平铺，则在查询控件中选择该字段值，表示排除该字段。如果您先配置的平铺样式，又在配置默认值时选择排除该字段...
用户属性管理
ID Mapping 已实现将跨来源渠道的数据中的同一个用户识别出来，为其赋予Quick Audience中的唯一身份标识QAID，将其名下的数据拉通。导入用户标签表时，通过从拉通后的数据获取用户属性信息，并确立解决数据冲突的规则，实现构建用户属性...
创建多元索引
开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。isAnArray（可选）：是否为数组，类型为Boolean。如果设置为true，则表示该列是一个数组，在写入时，必须按照JSON数组格式写入，例如["a","b","c"]。...
创建多元索引
开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。sub_field_schemas（可选）：当字段类型为Nested类型时，需要通过此参数设置嵌套文档中子列的索引类型，类型为field_schema的列表。is_virtual_field...
脚本语法
重要 在脚本文件中获取设备数据中指定字段值时：若指定字段的标识符以数字开头，不支持直接使用JSONPath方法，需使用 getOrNull()方法。例如本文“脚本示例”中的 2C0，不能使用 data.items.2Co.value，而是使用 getOrNull(data,"items","2...
事件处理流
支持识别的事件对象分类（Class）如下：网络（Network）存储（Storage）计算（Compute）操作系统（OS）应用（Application）数据库（Database）变更（Change）支持识别的事件类型（Type）如下：可用性（Availability）时延 容量（Capacity）...
创建多元索引
开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。DateFormats（可选）：日期的格式，类型为String。当字段类型为Date时，必须设置此参数。更多信息，请参见 日期数据类型。IndexSetting 索引设置，...
多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。FieldSchemas 是 FieldSchema的列表，每个FieldSchema包含如下内容：FieldName...
创建多元索引
开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。IsVirtualField（可选）：该字段是否为虚拟列，类型为Boolean类型，默认值为false。只有使用虚拟列时，才需要设置此参数。关于虚拟列的更多信息，请...
事件操作函数
返回结果 返回日志列表，列表中字段的值都是源列表中的值。函数示例 原始日志_topic_:age:18 content:123 name:maki_topic_:age:18 content:123 name:maki 加工规则 e_set("_topic_","V_SENT,V_RECV,A_SENT,A_RECV")e_split("_topic_")加工...
行级管控
行权限：行级管控权限，通过管控表中字段的值（管控值）管控行级数据。单值行权限：针对一个或多个管控值进行单独管控。所有行权限：具备行级管控表中所有行的权限。配置组：具有相同管控值的管控字段可以添加为一个配置组。例如，表A和表B...
提取字段
忽略字段前置空格 选中该选项后，系统将忽略字段值中的前置空格。保留原始字段 选中该选项后，解析的日志中将保留原始字段。原始字段缺失报错 选中该选项后，如果日志中无您所指定的原始字段，系统将报错。配置示例 提取 csv 字段的值，...
字段过滤
单击 排除，添加到右侧的 已添加 列表中的字段值被排除。单击 清空，添加到右侧的 已添加 列表中的字段值被清空。设置完成后，单击 确定。单击 更新，系统会按照过滤器的设置，重新绘制图表。数值类 您可以在过滤器中，设定一个过滤范围，...
配置图表数据
图表数据区域介绍 ① 批量配置字段样式 ② 筛选数据 ③ 定时刷新数据 ④ 设置数据展示结果 ⑤ 新建计算字段 ⑥ 新建分组维度 ⑦ 新建占位符 ⑧ 复制转维度 ⑨ 编辑数据集 ⑩ 切换数据集 ⑪ 上传本地文件 ⑫ 新建数据集 批量配置字段样式 当...
新建查询控件
通过查询控件可以生成一个或多个查询条件，帮助您查询单个或多个图表中的数据，一个仪表板中可以添加多个查询控件，但只支持一个查询控件置顶。前提条件 已创建好仪表板。请参见 新建仪表板 和 可视化图表概述。背景信息 查询条件 生效模式...
配置ClickHouse输出组件
如下图所示，选择同名映射后，输入 id 字段对应的数据映射到输出字段的 id 中。同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置...
配置ClickHouse输出组件
如下图所示，选择同名映射后，输入 id 字段对应的数据映射到输出字段的 id 中。同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认...
配置Hologres输出组件
使用限制 不支持写入Hologres数据库的视图。操作步骤 请参见 配置离线单条管道，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入 Hologres输出配置 对话框。在 Hologres输出配置 对话框，配置参数...
字符串函数
字段示例 region:cn-shanghai 查询和分析语句（调试）*|select replace(region,'cn','中国')查询和分析结果 示例2：删除 region 字段值中的 cn- 。字段示例 region:cn-shanghai 查询和分析语句（调试）*|select replace(region,'cn-')查询...
正则式函数
字段样例 request_uri:/request/path-3/file-5 查询和分析语句*|extend a=regexp_extract(request_uri,'.*\/(file.*)')查询和分析结果 示例3：提取 message 字段值中的单引号（'）和数字部分。字段样例 message:error'1232 查询和分析语句*...
查询和分析JSON日志的常见问题
在上述基础上，如果要提取 clientIp 字段值中的第一部分，您需要先使用json_extract_scalar函数提取 clientIp 的值，然后使用split_part函数提取IP地址中的第一个数字。此处不支持使用json_extract函数，因为split_part函数的入参需为...
配置HDFS输出组件
同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性配置的...
配置Oracle输出组件
如下图所示，选择同名映射后，输入 id 字段对应的数据映射到输出字段的 id 中。同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认...
配置Oracle输出组件
如下图所示，选择同名映射后，输入 id 字段对应的数据映射到输出字段的 id 中。同行映射：源表和目标表的字段名称不一致，但字段对应行的数据需要映射。只映射同行的字段。例如，endpoint_type 字段对应的数据映射至 id 字段中。单击 确认...
配置AnalyticDB for PostgreSQL输出组件
具体操作，请参见 创建AnalyticDB for PostgreSQL数据源 表 选择AnalyticDB for PostgreSQL数据源中的数据表为数据同步的目标表。如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 ...
统计分组
一旦选择为 分组字段 后，算子将会本次请求中的字段值和历史请求数据进行分组。例如：选择“性别”作为分组字段，则算子会使用性别字段分组，分成“男”、“女”、“”。统计项 统计项是对经过统计范围筛选后的数据进行分组聚合操作。统计...
配置AnalyticDB for PostgreSQL输出组件
表 选择AnalyticDB for PostgreSQL数据源中的数据表为数据同步的目标表。如果AnalyticDB for PostgreSQL数据源中还没有数据表，您也可以执行如下步骤，简单快速的生成目标表：单击 一键生成目标表。Dataphin会自动为您匹配创建表的代码，...
管理敏感数据
说明 开通敏感数据管理功能后，即可查看当前实例中的数据库相关信息和数据库中敏感字段的扫描结果。根据扫描出来的信息，您可以单击 前往DMS使用敏感数据保护 前往DMS数据管理服务控制台对敏感数据执行管控操作。更多信息，请参见 管理敏感...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
字段值提取函数
函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。相关示例，请参见 解析Java报错日志。JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者...
数据脱敏
可选值：字段全文：全部提取，即替换目标字段值中的所有内容。正则指定：使用正则表达式提取敏感内容。替换字符串 用于替换敏感内容的字符串。设置 脱敏方式 为 字符串替换 时，必填。敏感内容前缀正则 匹配敏感内容前缀的正则表达式。设置...
配置Hive输出组件
加载策略 向目标数据源（Hive数据源）写入数据时，数据写入表中的策略。加载策略包括 覆盖数据 和 追加数据，适用场景说明如下：覆盖数据：写入的数据中有主键时新数据覆盖旧数据，无主键时追加数据。追加数据：写入的数据中有主键时忽略新...
媒资搜索协议
field=['value1','value2']in 多值查询使用，当文档中的字段值在所列举的值中时，该文档返回。field in（'value1','value2'）媒资信息：Media 视频点播目前支持对视频、音频、图片信息和辅助媒资的搜索，各字段支持的查询语法规则如下所示...
基本散点图
最大值 y轴的最大值，支持自定义输入，也支持系统选择 数据最大值 获取数据中的最大值。说明 y轴打开自定义数据范围后可能会导致数据点显示不全，建议关闭自定义范围。显示格式：y轴标签数值显示格式的样式，可选 默认、11（整数）、11.1...
- 产品推荐
- 这些文档可能帮助您