导入Kafka数据
单条日志大小 单条日志最大为3 MB。单条日志大小超过限制时，该日志会被丢弃。数据处理流量观测 仪表盘中的写失败条数代表被丢弃的数据条数。如何查看，请参见 查看导入配置。起始位置 仅支持指定最早和最晚位置。不支持从指定时间的位置...
如何降低索引流量费用？
关闭日志聚类 开启日志聚类功能后，索引总流量增加10%，示例如下表所示：原始日志大小 索引比例 日志聚类功能产生的索引量 索引总流量 100 GB 20%（20 GB）100 GB×10%30 GB 100 GB 40%（40 GB）100 GB×10%50 GB 100 GB 100%（100 GB）100...
最佳实践
时序存储 使用Prometheus采集Kubernetes监控数据 查询与分析 查询和分析网站日志 查询和分析JSON日志 Data Explorer案例 关联Logstore与MySQL数据库进行查询分析 关联Logstore与OSS外表进行查询和分析 查询MNS日志 采集及分析Nginx监控日志...
分析网站日志
本文介绍如何在日志服务控制台上分析网站日志，并通过合适的统计图表可视化展示分析结果。前提条件 已采集网站日志。具体操作，请参见 数据采集。已创建索引。具体操作，请参见 创建索引。背景信息 网站日志是网站运维的重要信息，包含PV、...
日志聚类
原始日志大小 索引比例 日志聚类功能产生的索引量 索引总量 100 GB 20%（20 GB）100*10%30 GB 100 GB 40%（40 GB）100*10%50 GB 100 GB 100%（100 GB）100*10%110 GB 开启日志聚类功能 登录 日志服务控制台。在Project列表区域，单击目标...
使用云监控监测日志服务的使用情况
客户端解析成功流量 Logtail采集成功的日志大小，为原始数据大小。客户端解析成功行数 Logtail采集成功的日志的行数。客户端解析失败行数 Logtail采集日志过程中，出现采集错误的行数，如果该视图有数据，则表示发生了错误。客户端错误次数...
PostLogStoreLogs
PostLogStoreLogs接口每次可以写入的原始日志大小上限为10 MB，日志组中每条日志下的Value部分建议不超过1 MB。历史版本的SDK可能存在不同限制，建议升级到最新的版本解决。目前，不支持在OpenAPI Explorer中运行PostLogStoreLogs接口。...
Logtail
例如：单条日志大小为1025 KB，则第一次处理512 KB，第二次处理512 KB，第三次处理1 KB，最终采集结果为多条不完整的日志。文件编码 支持UTF-8或GBK的编码日志文件，建议使用UTF-8编码获得更好的处理性能。警告 如果日志文件为其它编码格式...
Logtail限制说明
例如：单条日志大小为1025 KB，则第一次处理512 KB，第二次处理512 KB，第三次处理1 KB，最终采集结果为多条不完整的日志。文件编码 支持UTF-8或GBK的编码日志文件，建议使用UTF-8编码获得更好的处理性能。警告 如果日志文件为其它编码格式...
查询和分析JSON日志
本文以查询和分析JSON类型的网站日志为例，为您介绍查询和分析JSON日志的步骤，并提供SQL语句示例。前提条件 已采集JSON日志。具体操作，请参见 使用极简模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标...
日志字段详情
目前友盟实时日志订阅功能支持U-App（App日志）、U-MiniProgram（小程序日志）和U-Web（网站日志）三类数据，本文介绍这三类日志的字段详情。U-App日志 U-App日志记录用户启动App、使用App功能和App发生异常的相关数据。字段 说明 app_key ...
创建索引
倒排索引是一种数据存储结构，由关键词...查询和分析的示例，请参见 查询和分析网站日志、查询和分析JSON日志、采集及分析Nginx监控日志、分析负载均衡7层访问日志。设置字段的最大长度 分析时，日志服务默认支持的字段值最大长度为2048字节，...
查询和分析网站日志
本文以查询和分析网站日志为例，帮助您快速上手查询和分析操作。前提条件 已采集到网站访问日志。具体操作，请参见 使用完整正则模式采集日志。步骤一：创建索引 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>...
查询和分析日志
创建索引后，您可以在查询和分析页面对采集到的日志进行实时查询和分析。前提条件 已 创建索引。...相关文档 查询与分析常见问题 时间字段转换示例 查询和分析网站日志 查询和分析JSON日志 分析Nginx访问日志 分析负载均衡7层访问日志
查询语法
日志服务提供一套查询语法，用于指定日志查询时的过滤规则，从而筛选日志中满足条件的记录，筛选结果可以用于分析语句，进行更复杂的分析处理。查询语法 重要 日志服务查询语句和分析语句（SELECT语句）以竖线（|）分割。基础语法：查询...
使用Aliyun Log Java Producer写入日志数据
说明 aliyun-log-producer底层调用PutLogs接口上传日志，每次可以写入的原始日志大小存在限制。更多信息，请参见 数据读写 和 PutLogs。日志服务的基础资源，包括创建Project个数、Logstore个数、Shard个数、LogtailConfig个数、机器组个数...
提取字符串动态键值对
r"\b(\w+)eat([^\|]+)",{r"\1":r"\2 by \1"})加工结果 处理后日志为：content:rats eat rice|chicks eat bugs|kittens eat fish|kittens:fish by kittens chicks:bugs by chicks rats:rice by rats 客户案例 例如某网站日志中有一个URL数据...
管理本地日志（Binlog）
查看本地日志大小 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏选择 监控与报警，查看日志空间使用量。说明 主节点和从节点的Binlog大小在正常情况下默认是一致的，但由于一些原因（例如，主从延迟、Binlog dump...
成本优化指南
原始日志大小1021 Bytes，加工后日志如下所示，大小仅为618 Bytes。source_:192.0.2.0_topic_:ddos_access_log body_bytes_sent:3866 content_type:text/x-flv host:...
备份大小
备份大小=数据备份的大小+日志备份的大小 查看备份大小 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在左侧导航栏中，选择 实例列表>MySQL。找到目标实例，单击 操作 列的 详情。在 基本信息 页面右下角，查看备份大小。...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
Logtail采集详情
本文介绍Logtail的采集过程，包括监听日志、读取日志、处理日志、过滤日志、聚合日志和发送日志。采集过程 Logtail采集数据的过程如下：监听日志 读取日志 处理日志 过滤日志 聚合日志 发送日志 说明 更多关于Logtail采集原理的介绍，请...
快速设置日志告警
网站日志告警监控规则 检查频率 根据您配置的频率对查询和分析结果进行检查。固定间隔：按照固定间隔检查查询和分析结果。Cron：通过Cron表达式指定时间间隔，按照该指定的时间间隔检查查询和分析结果。Cron表达式的最小精度为分钟，24小时...
快速使用WAF日志服务
Web应用防火墙（Web Application Firewall，简称WAF）日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志，并对采集到的日志数据进行查询与分析，以丰富的仪表盘形式展示查询结果，满足等保合规要求和网站业务的防护...
使用前须知
阿里云Web应用防火墙（WAF）联合日志服务推出WAF日志服务功能，提供网站域名访问日志、攻击防护日志的实时采集、查询、分析、加工、消费等一站式服务，满足等保合规要求和您的网站业务防护和运营需求。本文介绍WAF日志服务功能相关的资产...
使用数据实验室
日志服务数据实验室为您提供各种场景的模拟日志数据及各种公共数据集数据，便于您熟悉日志服务的查询分析、查看报表等各种操作。本文介绍如何使用阿里云数据实验室。前提条件 已开通日志服务。首次登录 日志服务控制台 时，根据页面提示...
使用前须知
Web应用防火墙（WAF）的日志服务功能帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，提供查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和...
告警日志字段
数组长度和日志内容大小有关，最多包含100条或者最长为2 KB。[{"_time_":"1642334840","count":"0"}]RawResultCount 原始结果条数。1 FireResult 触发告警的日志。如果告警未触发则为null。{"_time_":"1642334840","count":"0"} Truncated ...
Data Explorer案例
Data Explorer配置 查询语句 SLS and request_time(status>=200 and status)分析示例 示例1 在网站访问日志中，统计过去一天内网站请求的每小时平均耗时以及随时间的变化情况。Data Explorer配置 查询和分析语句|select date_trunc('hour',...
备份大小
查看备份大小 备份总大小=数据备份大小+日志备份大小 说明 在实例 基本信息 页 使用量统计 区域的 备份使用量 参数处查看。RDS MySQL或RDS MySQL Serverless基础系列实例升级小版本后，实例的 基本信息 页的 备份使用量 可能会显示为0，且...
实时计算（Blink）消费
说明 如果单条日志的大小和batchGetSize都很大，可能会导致Java系统频繁的对内存数据进行垃圾回收。columnErrorDebug 否 是否打开调试开关，如果打开，会把解析异常的日志打印出来。默认为false。属性字段提取 除日志字段外，支持提取如下...
使用前须知
功能优势 等保合规：支持存储六个月的网站访问日志，助力网站符合等保合规要求。配置简单：轻松配置即可实时采集互联网流量日志。实时分析：依托 日志服务，提供实时日志分析能力、开箱即用的报表中心，让您对经过云防火墙的互联网流量以及...
数据加工快速入门
本文以网站访问日志为例，为您介绍完整的数据加工流程，帮助您快速熟悉数据加工功能及其操作。前提条件 已创建名为web-project的Project。具体操作，请参见 创建Project。在Project（web-project）中创建名为website_log的源Logstore。具体...
通过Data Explorer构建查询和分析语句
日志服务提供Data Explorer功能，帮助您简单、快速地构建查询和分析语句，无需编写SQL语句。前提条件 已创建索引。具体操作，请参见 创建索引。功能入口 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页...
下载或删除网站日志
查看网站日志可以帮助您了解访问者的需求、网站访问量的变化趋势或分析网站运行中遇到的故障问题等，从而提升用户体验和明确网站优化方向，本文为您介绍下载或删除网站日志的方法。前提条件 已安装FTP客户端。说明 建议您使用FileZilla工具...
快速使用全量日志分析
将网站接入DDoS高防后，您可以通过全量日志分析采集和存储网站的日志数据，并对采集到的日志数据进行查询与分析。本文介绍如何快速使用全量日志分析功能。使用前须知 使用前请您了解什么是全量日志分析、如何计算所需的日志存储容量、日志...
Flutter SDK快速入门
本文介绍如何快速使用日志服务Flutter SDK采集日志数据。前提条件 已安装日志服务Flutter SDK。具体操作，请参见 安装Flutter SDK。初始化 SDK 一般场景下，您可以参考以下代码进行初始化。若您需要配置 LogProducerConfiguration 类，例如...
计费案例
少于100万次 免费 案例2 A网站的访问日志平均为200 Byte/条，1天共1亿条日志，即每天日志量约为18.6 GB。目前A网站通过日志服务（Shard数量为2个，保存时间为3天）分析网站运营情况。假设本案例中的上传压缩率为20%且不计免费额度。1天的...
日志类型
日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。重要 为保证您自定义查询语句的兼容性，建议您在查询语句中...
Android SDK快速入门
本文介绍如何快速使用日志服务Android SDK采集日志。前提条件 已安装Android SDK。具体操作，请参见 安装Android SDK。快速使用 您可以按照以下方式初始化SDK，并通过调用 addLog 方法上报日志。重要 SDK支持初始化多个实例，...
- 产品推荐
- 这些文档可能帮助您