SQL命令管理数据库
您可以执行以下命令，查询SQL Server实例的所有数据库的数据文件和日志文件的路径信息：SELECT db_name(database_id),physical_name FROM sys.master_files;删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除...
配置通用数据库审计
您可以在数据库服务器或应用服务器上安装Logtail和抓包工具，采集数据库的所有活动记录，实现数据库审计。本文介绍配置通用数据库审计的操作步骤。前提条件 已有可用的数据库。已创建Project。具体操作，请参见 创建Project。操作步骤 登录...
日志（Log）
格式 文本日志（LogFile）、事件（Event）、数据库日志（BinLog）、时序数据（Metric）等数据都是日志的不同载体。日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志...
常见问题
例如执行SQL分析的权限，读取日志库数据的权限。确保已提供足够的计算资源。资源限制说明请参见 查询与分析的使用限制。避免使用逻辑过于复杂的SQL语句以及SQL时间窗口设置过大，否则将导致计算超时（服务端超时时间为10分钟）。通过定时...
日志字段详情
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
转换IP地址
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 说明 Logtail安装包中没有GeoIP数据库，您需要手动下载GeoIP数据库到Logtail所在服务器并配置，建议下载...
通过日志服务同步ECS日志数据到AnalyticDB MySQL 2.0
本文以ECS上的Nginx日志为例，介绍如何通过日志服务将日志数据写入AnalyticDB MySQL 2.0集群。背景信息 日志作为一种特殊的数据，对处理历史数据、诊断问题以及了解系统活动等有着非常重要的作用。对数据分析人员、开发人员或者运维人员而...
通过消费组读取文本日志进行模板匹配
相似度匹配算法 依赖日志模板库，将日志数据与模板库中的模板进行匹配，统计保存匹配结果。参数 说明 模板源Project 关联的日志模板库的Project名称。模板源Logstore 关联的日志模板库的Logstore名称。模板源任务 关联的日志模板库的资源...
Logtail采集详情
采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请参见 Logtail技术分享。监听日志 在服务器上安装Logtail及在日志服务控制台上创建Logtail采集配置后...
日志管理
日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里...
语法简介
加工逻辑：基本处理：数据加工会以流式方式读取源Logstore的数据，并将每一条日志以字典的数据结构传递给加工规则，然后根据加工规则中定义的日志函数顺序处理日志数据，并将最终的数据加工结果输出到目标Logstore。说明 在传递的过程中...
过滤处理
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段。白名单 只采集符合白名单条件的日志，您...
新功能发布记录
2022-10-24 全部地域 表单配置方式 aggregator_context插件 日志服务 新增日志上下文聚合插件，用于处理日志。2022-10-24 全部地域 aggregators配置 扫描（Scan）日志 日志服务 扫描功能支持免配置索引进行目标字段的扫描，用于查询相关...
概述
当原始数据量的生成速度超过5 MB/s时，不建议您使用过于复杂的插件组合来处理日志，您可以使用Logtail扩展插件进行简单处理，再通过 数据加工 完成进一步处理。日志采集限制 扩展插件对文本日志的处理采用行模式，即文件级别的元数据（例如...
丢弃字段
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 重要 Logtail 0.16.28及以上版本支持processor_drop插件。表单配置方式 参数说明 配置 处理器类型 为 丢弃...
消费-通过消费组实现高可靠消费
在文档末尾，介绍日志服务Logstore消费组功能，如何与Spark Streaming、Storm Spout等配合，完成日志数据的处理过程。什么样的数据可以抽象成日志？半世纪前说起日志，想到的是船长、操作员手里厚厚的笔记。如今计算机诞生使得日志产生与...
字段值映射处理
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 表单配置方式 配置 处理器类型 为 字段值映射处理，相关参数说明如下表所示。参数 说明 原始字段 原始字段...
使用前须知
实时：DevOps、监控、报警等场景要求日志数据的实时性。传统型负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。重要 99.9%的情况下，日志延迟不超过3分钟。弹性：您可按CLB实例级别开通或关闭访问日志功能，可任意...
过滤日志
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。processor_filter_regex 通过正则表达式匹配日志字段的值，从而实现日志过滤。表单配置方式 参数说明 配置 处理器...
脱敏处理
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段。脱敏方式 脱敏方式，包括：const：将敏感...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
Logtail基本问题
Logtail采集原理包括监听文件、读取文件、处理日志、过滤日志、聚合日志和发送数据等过程。更多信息，请参见 Logtail采集原理。Logtail是否支持日志文件轮转？Logtail支持日志文件轮转。例如app.LOG文件通过日志文件轮转生成app.LOG.1、app...
高级管理
说明 由于相同地域 PolarDB-X 1.0 数据库的SQL审计日志存储在同一Logstore中，如果修改了Logstore的审计日志存储时间，该修改会对该地域下所有 PolarDB-X 1.0 数据库生效。即仅支持修改同一地域所有数据库的日志保存时间，不支持修改某一...
添加字段
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail采集配置时，添加插件配置。具体操作，请参见 概述。配置说明 重要 Logtail 0.16.28及以上版本支持processor_add_fields插件。表单配置方式 参数说明 配置 处理器...
JSON解析
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段，默认值为content。解析失败时保留原始字段 ...
字段加密
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 表单配置方式 配置 处理器类型 为 字段加密，相关参数说明如下表所示。参数 说明 原始字段 指定需要加密的...
正则解析
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 解析日志前，用于存放日志内容的原始字段，默认值为content。正则表达式 用于匹配日志...
配置监控与告警
创建AnalyticDB MySQL投递任务后，您可以在数据投递诊断仪表盘中查看投递任务的运行指标信息，还可以订阅仪表盘，针对仪表盘中的指标信息设置告警。本文介绍为投递任务配置监控与告警的操作步骤。前提条件 已经将数据实时投递至OSS、...
打包字段
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 重要 Logtail 0.16.28及以上版本支持processor_packjson插件。表单配置方式 参数说明 配置 处理器类型 为 ...
重命名字段
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。配置说明 重要 Logtail 0.16.28及以上版本支持processor_rename插件。表单配置方式 参数配置 配置 处理器类型 为 重...
Nginx模式解析
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 NGINX日志配置 Nginx配置文件中的日志配置部分，以 log_format 开头。例如：log_format main '$...
GetLogsV2
查询指定Project下某个Logstore中的原始日志数据，返回结果显示某时间区间中的原始日志。(返回结果压缩后传输)。日志服务SDK目前仅支持Go、Java、Python三种语言，OpenAPI全部已支持。使用过程中注意指定压缩方法，不同语言实现的压缩算法...
数据编码与解码
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 概述。BASE64编码 您可以通过processor_base64_encoding插件对字段值进行编码。表单配置方式 配置 处理器类型 为 BASE64...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
IIS模式解析
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 日志格式 选择您的IIS服务器日志采用的日志格式，具体说明如下：IIS：Microsoft IIS日志文件...
数据脱敏
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件配置。具体操作，请参见 功能入口。配置说明 重要 Logtail 1.3.0及以上版本支持processor_desensitize插件。表单配置方式 配置 处理器类型 为 数据...
Apache模式解析
功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 日志格式 根据Apache日志配置文件中定义的日志格式进行选择，包括common、combined和自定义。...
使用前须知
实时：DevOps、监控、报警等场景要求日志数据的实时性。结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志。弹性：可任意设置日志存储周期。Logstore容量可动态伸缩满足业务增长需求。智能：基于达摩院智能AIOps算法，提供...
应用场景
数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括Metric、Event、BinLog、TextLog、Click等）。方案优势：使用便捷：提供50+实时数据采集方式，让您快速搭建平台；强大配置管理能力，减轻运维负担。...
HarmonyOS SDK概述
}/写入日志 addLog(){ aliyunLog.addLog(new Map([["key1","val1"],["key2","val2"],["key3","val3"],["key4","val4"],]))}/处理日志回调/code错误码说明参见后续文档 onLogCallback(logStore:string,code:number,logBytes:number,...
- 产品推荐
- 这些文档可能帮助您