全局操作函数概览
e_split 基于日志字段的值分裂出多条日志，并且支持通过JMES提取字段后再进行分裂。e_output 输出日志到指定的Logstore中，且对应的日志不再执行后面的加工规则。e_coutput 输出日志到指定的Logstore中，且对应的日志继续执行后面的加工...
行级权限设置
数据集启用行级权限控制后，只有被授权的用户可使用通过指定字段的值筛选后的行。若指定多个字段，则被授权的行同时满足多个字段的取值要求。说明 对用户授权行级权限前，需要先授权管理权限或使用权限，否则无权使用数据集任何数据。用户...
自定义属性
自定义属性功能使版本拥有一个动态的返回值，可以动态地给版本的返回信息中新增字段，也可以随时修改字段的值。如何在客户端使用该字段，请参考客户端SDK文档，服务端只进行配置。自定义属性管理 导航：导航：OTA-系统（应用）升级-【操作...
字段映射
映射规则 IDaaS 目前支持两种方式进行字段映射：选择字段：选择同步来源中的某个字段，直接将它的值作为同步目标对应字段的值。IDaaS 针对不同的身份提供方会有不同的字段范围，如果您所需要的字段不在范围内，可使用表达式进行设置。表达...
正则式函数
本文介绍正则式函数基本语法及示例。日志服务支持如下正则式...示例 使用正斜线（/）分割 request_uri 字段的值。字段样例 request_uri:/request/path-0/file-7 查询和分析语句（调试）*|SELECT regexp_split(request_uri,'/')查询和分析结果
字符串函数
字段样例 request_uri:/request/path-1/file-9 查询和分析语句（调试）*|SELECT split(request_uri,'/')查询和分析结果 示例2：使用正斜线（/）将 request_uri 字段的值拆分成3个子串，并返回子串的集合。字段样例 request_uri:/request/...
字段操作
支持删除字段的默认值：ALTER COLUMN DROP DEFAULT。支持修改列：CHANGE COLUMN 和 MODIFY COLUMN。支持删除列：DROP COLUMN。不支持的范围 重要 如果同步的 DDL 包含以下不支持的定义，则整个建表语句会转换失败（输出空）。不支持修改列...
自定义过滤条件
自定义过滤条件功能使版本拥有一个动态的返回值，可以动态地给版本的返回信息中新增字段，也可以随时修改字段的值。如何在客户端使用该字段，请参考客户端SDK文档，服务端只进行配置。自定义过滤条件管理 导航：OTA-系统（应用）升级-...
服务鉴权
字段值：填入所选字段的值。单击 提交，然后单击 确定。在鉴权规则列表中，将刚刚创建的鉴权规则的状态改为 开。根据设置的类型打开白名单或黑名单的开关。规则类型为白名单时，打开白名单开关；反之，打开黑名单开关。否则，鉴权规则不...
错误码映射插件
errorCode 字段，则获取 errorCode 字段的值，并寻找与 mappings 中 code 匹配的 映射记录,如果步骤3没有匹配到 映射记录，则依次执行 mappings 字段配置了 condition 的 映射记录 如果步骤3或4中匹配到了 映射记录，根据对应的配置构造...
图文解释
Manifest 格式中 data 字段的下一级字段均对应一个数据集字段，字段名 可自定义，在配置数据集字段名时选择对应的字段名即可。图片文件支持常见的JPG、PNG等格式。sam_embedding_url 用于SAM分割的embedding数据，目前使用前需要用户自行预...
PolicyItem
例如 key 为 x-test-uid，则请求中 x-test-uid 字段的值将决定请求是否被路由到灰度版本上。x-test-uid value string value 指定控制流量灰度的字段值。请求中由参数 key 指定的字段实际值会和参数 value 字段值，按指定的运算符进行比较，...
UNNEST子句
在复杂的业务场景下，日志字段的值可能为数组（array）、对象（map）等类型。对这种特殊类型的日志字段进行查询和分析时，您可以先使用UNNEST子句将字段值展开。语法 将array类型的数据展开为多行单列形式，列名为 column_name。UNNEST(x)...
设置数据库索引
注意 如果一个记录在一个唯一索引中没有索引字段的值，则该索引将为该记录存储一个空值。由于唯一约束限制，只会允许一个记录缺少索引字段。对多于一个以上的记录没有索引字段的值或缺少索引字段，索引构建将失败，提示重复键错误。索引...
为什么查询和分析时，字段值会被截断？
当单个字段值长度超过最大长度时，超出部分被截断，不参与查询和分析。日志服务查询和分析的字段值长度存在如下限制。查询时，单个字段值最大长度为512 KB（524,288 字节），超出部分不参与查询。分析时，默认支持的字段值最大长度为2 KB...
FieldSchema
开启后，可以直接从多元索引中读取该字段的值，而不必反查数据表，可用于查询性能优化。field_schemas repeated FieldSchema 否 字段配置信息。只有字段类型为嵌套类型时，才需要设置此参数。is_array bool 否 是否为数组。如果设置为true...
字段分析
SLS（Simple Log Service）具备字段分析功能，专注于对text、long和double类型字段的统计分析。此功能涵盖了字段的基本分布情况、各种统计指标以及TOP5的时间序列图，为用户提供了深入的数据洞察和可视化工具，便于理解和挖掘。前提条件 已...
查询和分析
无 字段值大小 单个字段值最大为512 KB，超出部分不参与查询。如果单个字段长度大于512 KB，有一定几率无法通过关键词查询到日志，但数据仍然是完整的。操作并发数 单个Project支持的最大查询操作并发数为100个。例如100个用户同时在同一个...
JSON函数
如果日志字段的值为JSON类型且需要展开为多行，请使用unnest语法。更多信息，请参见 UNNEST子句。如果字符串被解析成JSON类型失败，则返回null。如果在采集过程中，JSON日志被截断，则在使用JSON函数进行查询与分析时，系统将报错且中止...
Map映射函数和运算符
示例 使用histogram函数获取各个请求方法对应的请求数量，然后通过element_at函数获取 DELETE 字段的值。查询和分析语句*|SELECT histogram(request_method)AS request_method,element_at(histogram(request_method),'DELETE')AS"count...
查询语法
long或double类型 只有设置字段的数据类型为long或double后，才能通过数值范围查询该字段的值。如果字段的数据类型不被设置为double、long或者查询时数值范围的语法错误，那么日志服务会按照全文查询方式进行查询，这样查询到的结果可能与...
事件检查函数
e_match_any 判断当前日志字段的值是否满足正则表达式，任意字段匹配返回True，否则返回False。e_match_all 判断当前日志字段的值是否满足正则表达式，所有字段匹配返回True，否则返回False。同时，事件检查函数可以与如下表达式函数配合...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。index_sort 索引预排序设置，包含sorters设置。如果不设置，则默认按照主键排序。...
URL函数
示例 对 url 字段的值进行编码。字段样例 url:https://homenew.console.aliyun.com/home/dashboard/ProductAndService 查询和分析语句*|select url_encode(url)查询和分析结果 url_decode函数 url_decode函数对URL进行解码。语法 url_...
findOneAndDelete
mpserverless.db.collection('users').findOneAndDelete({ age:18,}).then(res=>{}).catch(console.error)查询 users 集合中 age 字段值等于18的一条记录，将其删除并返回该记录的 name 字段。如果有多条则返回删除其 name 字段升序排列的...
映射富化函数
函数示例 示例1：根据原始日志中 pro 字段的值和目标数据字典，输出新字段 protocol。原始日志 data:123 pro:1 加工规则 e_dict_map({"1":"TCP","2":"UDP","3":"HTTP","6":"HTTPS","*":"Unknown"},"pro","protocol",)加工结果 data:123 pro...
分析概述
字段值大小 单个字段值最大长度为16 KB（16384字节），超出部分不参与分析。说明 默认支持的字段值最大长度为2048字节，即2 KB。如果您需要修改字段值的最大长度，可设置 统计字段（text）最大长度。具体操作，请参见 设置字段值的最大长度...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
使用拆分字段
数据访问代理会根据拆分字段的值将数据表水平拆分到每个物理库实例上的物理分库/分表中。拆分原则 数据表拆分的首要原则，就是要尽可能找到数据表中的数据在业务逻辑上的主体，并确保大部分（或核心的）数据库操作都是围绕这个主体的数据...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
数据结构
时间字段修改 修改时间字段的值，就是修改日志的事件时间。可以用日期时间函数对其进行更多的操作。说明 如果删除了时间字段，在输出日志时，会取数据加工处理数据时的系统时间作为新的事件时间。标签 标签（tag）指日志存在标记，用于区分...
定制排序模型特征配置规范
字段名 是否必选 含义 feature_name 是 feature_name会被当作最终输出的feature的前缀 feature_type 是 即下文中的类型 id_feature（离散ID特征）id feature是一个sparse feature，是一种最简单的离散特征，只是简单的将某个字段的值与用户...
查询和分析JSON日志的常见问题
使用查询语句过滤出请求成功的日志，然后在分析语句中使用json_extract函数提取出 orders 字段的值。and response:SUCCESS|SELECT json_extract(request,'$.param.orders')查询和分析结果如下所示。将上述提取的JSON数组（JSON类型）转换为...
通用参考
数据错误不会影响SPL整个执行过程，SPL语句仍会返回处理的结果，出错的字段的值为 null 值。可以根据实际情况忽略此类错误。运行超时 SPL语句中包含不同的指令，不同的指令在不同的数据场景下消耗的时间不同。当SPL整个语句的执行时间超过...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
追加字段
您可以使用processor_appender插件为指定的字段（可以为不存在的字段）追加特定的值，支持在字段值中添加模板变量。该插件通常与input_prometheus、input_system_v2等时序监控相关的插件结合使用，用于给拉取到的Prometheus数据追加特定的...
统计聚合
字段值分组 根据一个字段的值对查询结果进行分组，相同的字段值放到同一分组内，返回每个分组的值和该值对应的个数。说明 当分组较大时，按字段值分组可能会存在误差。范围分组 根据一个字段的范围对查询结果进行分组，字段值在某范围内放...
filter表达式
filter:"contain(nid,\"1|2|3\")"使用 notcontain，检索nid字段值 不在[1,2,3]范围内的所有记录 filter:"notcontain(nid,\"1|2|3\")"in/notin in和notin:判断字段值是否（不）在指定列表中 举例：查询文档中type（int类型）为1或2或3的文档...
- 产品推荐
- 这些文档可能帮助您