导入OSS数据
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
应用日志管理
特别是对于采用分布式部署的复杂PaaS类软件的服务，用户需要在多台主机上检索日志文件。操作繁琐，用户体验差。计算巢私有部署服务提供应用日志功能，通过集成日志服务（SLS）将私有部署服务的应用日志收集到日志服务的日志库（logstore）...
NFS文件系统传输加密
传输加密功能通过TLS协议保护您的ECS实例与NAS服务之间网络传输链路上的数据安全，确保您的数据在传输过程中不被窃取或纂改。本文介绍如何使用NAS客户端工具挂载文件系统实现数据传输加密。工作原理 NAS客户端工具定义了一个网络文件系统...
设置日志收集至SLS
配置后，在开启日志收集服务的基础上，Logtail采集性能将得到提升，有效解决日志文件占用内存大、日志数据流量大和Logtail发送数据速率高等影响日志采集的瓶颈问题。您需要在 环境变量设置 区域内，选择 自定义 或 引用配置项 的方式，并...
日志类型
M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b file_dev 日志文件的device ID。说明 当 file_name 为 logstore_...
使用数据实验室
收费与限制 目前数据实验室提供网站访问日志、数据库审计日志、新冠疫情数据集等三个场景，均免费使用。在数据实验室中Logstore仅用于存储模拟数据，数据保留7天，shard数量为1。您无法进行数据写入、编辑索引等操作。场景选择 数据分为...
设置日志收集到SLS
文件名与路径支持正则匹配，同一目录下，如果日志文件数量多，且文件格式相同，可以输入例如/xxx/xxx/xxx/*.log 的格式。重要 请勿在 日志源 的存放目录中存放其他重要文件，避免目录内的文件被覆盖。推送规则配置 单击 显示高级设置 后...
SQL审计（数据库审计）
说明 如果您在日志服务的CloudLens for RDS开启了RDS SQL Server实例的审计日志采集功能，系统会自动开启对应RDS SQL Server实例的SQL审计功能，因此您还需要关闭该数据库实例的审计日志采集功能。详情请参见 CloudLens for RDS。相关文档 ...
术语表
Logtail配置 Logtail配置是Logtail进行日志采集的策略集合，包括日志文件的位置、采集方式等。更多信息，请参见 Logtail配置。机器组 机器组是包含多台服务器的虚拟分组。日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器...
性能说明FAQ
方案二：使用 open_log_file_cache 指令设置经常被使用的日志文件描述符缓存，提高包含变量的日志文件存放路径的性能。具体配置，请参见 open_log_file_cache。建议配置：open_log_file_cache max=1000 inactive=1m valid=3m min_uses=2;为...
配置日志收集
指定收集日志文件名称，区分大小写，您可以使用通配符，例如*.log。Linux下的文件名通配符包括*、?和[.]。查看文件日志时，在日志服务控制台无数据展示，如何处理？通常日志服务默认查询最近15分钟内的查询结果，并且在配置SLS收集前产生的...
PurgeDBInstanceLog-清理或收缩RDS实例日志
操作失败，数据库引擎不支持。403 IncorrectDBInstanceCharacterType Current DB Instance character_type does not support this operation.当前DB实例字符类型不支持此操作。403 OrderStatus.UnPaid The specified db instance has ...
PurgeDBInstanceLog-清理或收缩RDS实例日志
操作失败，数据库引擎不支持。403 IncorrectDBInstanceCharacterType Current DB Instance character_type does not support this operation.当前DB实例字符类型不支持此操作。403 OrderStatus.UnPaid The specified db instance has ...
保留字段
Logtail采集的日志文件路径，Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时，需要给该字段加上双引号。tag_:_hostname_字符串格式。索引设置：开启索引后，日志服务默认为_tag_:_hostname_创建...
日志管理
日志库（Logstore）是日志服务中的日志存储和查询的基本单元，通常用于存储一类日志数据。目前，支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后，用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里...
通过JDBC协议分析日志
日志服务支持您在数据库（例如MySQL）中使用JDBC协议连接日志服务，并通过标准的SQL92语法查询和分析日志。前提条件 已创建阿里云账号或RAM用户的AccessKey。具体操作，请参见 访问密钥。如果使用RAM用户的AccessKey，则RAM用户必须是当前...
查看数据报表
CloudLens for Redis提供丰富的可视化图表，用于展示云数据库Redis日志的分析结果。前提条件 已开启日志采集功能。具体操作，请参见 开启日志采集功能。功能入口 登录 日志服务控制台。在 日志应用 区域的 云产品Lens 页签中，单击 ...
日志采集Agent对比
不支持 支持cpu/内存阈值保护 日志文件采集场景-性能对比 以Nginx的access log为样例，如下一条日志365字节，结构化成14个字段：在下面的测试中，将模拟不同的压力将该日志重复写入文件，每条日志的time字段取当前系统时间，其它13个字段...
日志管理
持久化日志：创建或部署任务时，SAE 可以自动打通日志服务SLS，将容器标准输出日志（stdout）和业务文件日志（容器内日志路径）输出到SLS，帮助您无限制行数地查看日志、自聚合分析日志。设置日志收集 创建或者编辑任务模板时，如果您启用...
采集Windows事件日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取文件。原理 对于事件日志，Windows提供了 Windows Event Log 和 Event Logging 两套API，前者是后者的升级，仅在Windows Vista及以上的...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
采集标准Docker容器日志
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。步骤一：部署Logtail容器 拉取Logtail镜像。docker pull registry.cn-hangzhou.aliyuncs.com/log-service/logtail 您需要根据实际...
如何实现文件中的日志被采集多份
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...
文件存储 HDFS 版（Apsara File Storage for HDFS）...
ActionTrail中记录的 文件存储 HDFS 版（Apsara File Storage for HDFS）操作日志 文件存储 HDFS 版（Apsara File Storage for HDFS）的操作审计日志主要包含的是API事件，其中OpenAPI事件在ActionTrail中记录的eventType取值为 ApiCall。...
Logtail发布历史
修复空文件inode复用后导致采集到的日志文件名错误的问题。修复因Checkpoint重新打开文件导致容器无法退出的问题。修复飞天日志时间无法调整时区的问题。修复JSON模式日志解析时，最后没有回车可能解析不正确的问题。修复读取到的数据开头...
使用前须知
日志服务通用数据库审计应用支持通过抓包方式将数据库的操作记录和操作行为上传到日志服务。您可以基于日志服务的存储、查询分析、可视化和告警等一站式功能，完成对数据库的审计。本文介绍通用数据库审计应用的使用场景、资产、费用等信息...
高级管理FAQ
以下操作会更新访问时间：读取文件 写入文件 以下操作不会更新访问时间：重命名一个文件 修改文件的用户（user）、用户组（group）、模式（mode）等文件属性 如果一个目录配置了多项生命周期管理策略，文件系统会执行哪一项策略？...
使用Kafka协议上传日志
您可以使用Kafka Producer SDK、Beats系列软件、Collectd、Fluentd、Logstash、Telegraf、Vector等采集工具...配置示例[sinks.aliyun_sls]type="kafka"inputs=["file_logs"]#定义source，这里是监控一个日志文件 bootstrap_servers="etl-dev....
设置Logtail启动参数
需要采集的日志文件数目大（同时采集的文件数超过100个或所监控的目录下的文件数超过5000个），占用大量内存。日志数据流量大（例如极简模式下超过2 MB/s，正则模式下超过1 MB/s），导致CPU占用率高。Logtail发送数据到日志服务的速率超过...
使用前须知
阿里云企业级分布式应用服务EDAS联合日志服务推出日志功能，支持将部署在容器服务Kubernetes集群中的应用的相关业务文件日志、容器标准输出日志投递到日志服务进行查询与分析。本文介绍EDAS日志功能相关的资产、费用等信息。资产详情 ...
Data Explorer案例
示例4 在RDS数据库审计日志中，统计执行频率Top 10的SQL语句及其执行次数，并统计每个SQL语句同比昨天的执行次数的变化情况。Data Explorer配置 查询和分析语句|select"sql",diff[1]as current_value,diff[2]as previous_value,(diff[1]-...
通过DaemonSet-控制台方式采集Kubernetes容器标准输出
如果下发Logtail配置后，日志文件无更新，则Logtail不会采集该文件中的日志。更多信息，请参见 读取日志。功能特点 Logtail支持采集容器内产生的标准输出，并附加容器的相关元数据信息一起上传到日志服务。Logtail具备以下功能特点。支持...
API简介
日志库 Logstore 日志库（Logstore）是日志服务中日志数据的采集、存储和查询单元。每个Logstore隶属于一个Project，每个Project中可创建多个Logstore。分区 Shard 日志服务使用Shard控制Logstore或MetricStore的读写数据的能力，数据必定...
应用总览
自定义配置中可以使用自己设定的日志文件，要求日志文件中必须有：数据库、SQL、耗时、事务 ID。Flow Limit-flowlimit 流量监控指标。消息发布-msgpub 消息发布监控指标。消息订阅-msgsub 消息订阅监控指标。JVM 监控-jvmgc JVM 监控指标。...
管理日志投递任务
存储目标 包括源Project、源Logstore和目标数据库信息。消费进度 数据投递任务读取源Logstore日志数据的消费进度。统计报表 创建投递任务后，自动生成数据投递仪表盘，包括总览指标、每秒投递行数指标、消费延迟指标、消费速率指标、读写...
服务指标
自定义配置中可以使用自己设定的日志文件，要求日志文件中必须有：数据库、SQL、耗时、事务 ID。flowlimit 限流 次 框架配置日志。文件采集路径/home/admin/logs/{app}/guardian/guardian-limit-stat.log。msgpub 消息推送 次 框架配置日志...
告警属性参考
日志库 区域 否 对日志库和时序库进行查询统计时，取值为目标Project所在地域。说明 对资源数据进行查询统计时，无该参数。cn-hangzhou 项目 否 对日志库和时序库进行查询统计时，取值为源数据所在Project。说明 对资源数据进行查询统计时...
查看会话日志
在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。操作步骤 登录 日志服务控制台。在Project列表处，查看数据库审计相关的Project，单击...
使用前须知
阿里云日志服务和数据库审计推出日志功能，将数据库审计相关的日志存储到日志服务中，助力企业顺利通过等保合规审计。本文介绍数据库审计日志功能相关的资产详情、费用说明及使用限制等。资产详细 专属Project和Logstore 开启日志功能后，...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
- 产品推荐
- 这些文档可能帮助您