复制Logstore数据
如果您需要将Logstore中的日志数据保存多份，可以使用数据加工功能复制Logstore数据。本文介绍复制Logstore数据的使用场景和操作步骤。使用场景 某公司访问日志被采集存储在同一阿里云账号中的多个Project。现有需求将 project-a 中 ...
加工原理
日志服务提供的数据加工功能，通过编排内置的两百多个函数，使用协同消费组对日志数据进行消费，实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工...
Cloud Shell概述
阿里云云命令行Cloud Shell已经集成日志服务CLI，您无需部署配置，可以直接通过Cloud Shell管理日志服务资源和下载日志服务数据。什么是Cloud Shell？Cloud Shell允许您通过命令行管理阿里云资源。通过浏览器启动Cloud Shell时，Cloud ...
对接DataV
DataV是阿里云的可视化产品，能帮助您通过图形化的界面轻松搭建专业水准的可视化应用，丰富表现日志分析数据。本文档介绍如何通过日志服务对接DataV进行大屏数据展示。前提条件 已采集数据。具体操作，请参见 数据采集。已创建索引。具体...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
新版日志审计服务概述
SLS 操作日志、SLS 运行日志 OSS 访问日志 RDS 审计日志、RDS 慢日志、RDS 错误日志、RDS 性能监控 PolarDB 审计日志、PolarDB 慢日志、PolarDB 错误日志、PolarDB 性能监控 VPC 流日志 DNS 内网解析日志 ALB 访问日志、CLB 访问日志 Mongo...
通过阿里云Milvus与PAI搭建高效的检索增强对话系统
其中，检索部分采用了高效的向量检索引擎和向量数据库技术，例如基于开源库Faiss、Annoy以及HNSW算法优化构建的Milvus系统，极大地提升了对大规模数据进行快速检索和精确分析的能力。这样的设计使得RAG能够在必要时即时调用相关领域或最新...
日志服务监控审计
服务日志 日志服务提供服务日志功能，支持记录Project内的用户操作日志等多种日志数据，并提供多种分析维度的仪表盘。您可以通过多种方式实时掌握日志服务的使用状况、提高运维效率。当前Project产生的所有日志数据都会被分类保存到特定的...
复制和分发数据
日志服务支持对每一个源Logstore配置一个加工任务，实现数据复制后分发到不同Logstore。本文介绍数据复制后分发到不同Logstore的典型场景和操作方法。场景说明 某数据分析公司需要将Logstore中的每一条数据进行复制，并根据内容分别分发到...
云产品日志通用操作
您在各个云产品控制台开通日志功能后，即可执行日志服务相关操作。常用操作 采集到云产品日志后，您可以执行如下操作。操作 说明 查询和分析日志 查询和分析日志。具体操作，请参见 查询和分析日志。查询和分析时序数据 查询和分析时序数据...
过滤VPC流日志公网流量
在专有网络VPC控制台上开通流日志功能后，流日志将被采集到日志服务中，您可以通过日志服务对流日志进行查询、分析和排查网络故障。本文介绍通过日志服务数据加工对流日志进行公网流量过滤的操作方法。前提条件 已开通VPC流日志功能。具体...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
服务日志简介
阿里云日志服务提供服务日志功能，支持记录Project内的用户操作日志等多种日志数据，并提供多种分析维度的仪表盘。您可以通过多种方式实时掌握日志服务的使用状况、提高运维效率。默认配置 默认配置项 配置内容 Logstore 当前Project产生的...
服务器数据采集方案概述
应用系统在提供服务过程中，会产生日志数据、系统指标数据、审计框架数据、检测状态数据以及各类APM监控数据。针对这些数据，可以根据业务的需求和环境，选择对应的方案进行数据采集并传输到Elasticsearch服务。本文对服务器数据采集方案...
跨地域传输数据
日志服务支持通过数据加工实现跨地域传输数据，本文介绍跨地域传输数据的使用场景、操作步骤、计费等内容。使用场景 当您的业务分布在不同地域时，相关日志也会分布在不同地域。当您需要对不同地域的日志进行集中管理时，您可以使用日志...
操作审计
数据管理DMS基于操作日志的基础功能，重磅推出了操作审计功能。当您需要快速排查、定位数据库安全问题及有安全审计用途时，可使用操作审计查看在SQL窗口产生的SQL语句列表、工单列表、登录列表、操作日志。功能说明 数据管理DMS的操作审计...
日志数据预处理与投递
本视频介绍如何对日志数据进行预处理与投递。
通过实时计算处理数据并同步到Elasticsearch
当您需要构建一个日志检索系统时，可通过实时计算Flink对日志数据进行计算后，输出到Elasticsearch进行搜索。本文以阿里云日志服务SLS（Log Service）为例，为您介绍具体的实现方法。前提条件 您已完成以下操作：开通阿里云实时计算服务并...
日志消费与查询区别
日志服务提供日志消费和查询功能，都均为对日志数据的读操作。日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序...
管理服务日志
如果您需要获取 Project内 的资源操作日志（创建、修改、更新、删除）和任务执行日志（定时SQL、数据导入、数据投递），Logstore内 消费组消费延时日志以及Logtail的错误、心跳和统计日志，可以使用服务日志功能。本文介绍如何开通、关闭...
logging
名称 类型 描述 示例值 object 项目的服务日志数据结构。loggingProject string 服务日志要保存到的 Project 名称。my-project loggingDetails array object 服务日志配置列表。object 服务日志配置项，每项代表开启一种服务日志类型。type...
对接JDBC
本文以实际案例演示如何使用JDBC连接日志服务、读取日志数据，及使用MySQL协议和SQL语法来计算日志。背景信息 MySQL是当前流行的关系型数据库，很多软件支持通过MySQL传输协议和SQL语法获取MySQL数据。因此，为了满足不同业务场景、不同...
消费预览
日志服务控制台提供消费预览功能，帮助您通过控制台直接预览Logstore中的部分日志数据。消费预览也是一种日志消费。本文为您介绍消费预览具体步骤。前提条件 已完成日志消费，更多消费方式，请参见：普通消费概述。操作步骤 登录 日志服务...
云监控消费
云监控可以直接消费Logstore中日志数据，提供日志监控功能。通过将日志服务与云监控结合，形成了轻量级、全面、易用的日志监控解决方案。简单、易用，相比传统ELK方案，零编码即可享有完整监控解决方案。提供日志数据实时分析、监控图表...
审计日志设置
您可以通过审计日志配置，将审计日志定时同步至指定的数据源中，便于获取审计日志的数据。本文为您介绍如何进行审计日志配置。前提条件 已在元仓租户中创建用于存储审计日志的数据源（支持MySQL、Oracle、PostgreSQL、Microsoft SQL Server...
应用场景
阿里云Elasticsearch具有广泛的应用场景，包括日志分析与运维全观测、信息检索、数据智能等。日志分析与全观测 在复杂业务场景下，海量服务器、物理机、Docker容器、移动设备和IoT传感器等设备中，往往存在着结构分散、种类多样、规模庞大...
可视化概述
日志服务可视化是将系统、应用或服务生成的原始日志数据转换成图形化界面展示的过程。您可自定义图表类型展示查询分析结果，并将结果保存到仪表盘中。此外，日志服务也支持与第三方可视化工具对接。可视化方式 日志服务支持的可视化方式...
配置数据库审计实例
购买并启用数据库审计实例后，您可以在云盾数据库审计管理控制台管理您的数据库审计实例。本文介绍如何为数据库实例配置白名单、管理存储容量、升级和续费。前提条件 已启用数据库审计实例。具体操作，请参见 启用数据库审计实例。操作步骤...
通过API消费
日志服务提供多语言SDK，并且都支持日志服务消费接口，本文介绍消费日志的SDK示例。前提条件 已开通日志服务。更多信息，请参见 开通日志服务。已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ...
通过Logtail跨地域采集日志
方案概览 假如某公司的网站应用部署在地域A，日志服务 Project部署在地域B，现计划通过Logtail采集配置将部署在地域A的ECS实例中的日志数据发送到地域B的 日志服务 Project中。您可通过以下步骤配置：步骤一：在地域A的ECS实例中安装...
通过日志服务导入至数仓版
日志服务采集到日志后，可以将Nginx访问日志、Log4j日志、Apache日志以及结构化文本等日志实时同步至 云原生数据仓库 AnalyticDB MySQL 版 数仓版 进行存储和分析。前提条件 已采集日志到目标Logstore。具体操作，请参见 数据采集。创建...
快速使用WAF日志服务
Web应用防火墙（Web Application Firewall，简称WAF）日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志，并对采集到的日志数据进行查询与分析，以丰富的仪表盘形式展示查询结果，满足等保合规要求和网站业务的防护...
使用前须知
阿里云日志服务和友盟联合推出实时日志订阅功能，将友盟数据开放平台U-DOP的各类明细数据一键实时同步至日志服务，实现日志实时查询、可视化分析、告警、投递、加工等操作。本文介绍友盟相关日志的资源说明、费用说明和使用限制。资源说明 ...
管理日志投递状态
将 Web应用防火墙（Web Application Firewall，简称WAF）日志投递到 日志服务（Simple Log Service，简称SLS）平台上，可以实现对Web应用安全状况的集中管理和实时监控，提高安全事件的响应效率，并通过数据分析发现潜在的安全威胁等功能。...
如何实现文件中的日志被采集多份
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...
开启或关闭日志服务
如果您需要存储防护对象的日志数据，并对日志数据进行查询与分析，您需要先开启WAF日志服务。如果您不再需要使用日志服务，对于包年包月实例，在实例到期释放前无法直接关闭日志服务，您可以通过降低日志服务容量配置来减少当前费用，待...
日志聚合多维指标智能巡检
日志服务提供智能巡检功能，用于对监控指标或业务日志等数据进行全自动、智能化、自适应的异常巡检。本文介绍如何通过智能巡检功能，对通过SQL聚合的多维指标进行巡检与打标反馈。前提条件 已采集SLB 7层访问日志到名为slb-log的源Logstore...
通过一键建仓同步至数仓版
您可以在 云原生数据仓库 AnalyticDB MySQL 版 控制台上通过一键建仓将一个日志服务项目（Project）中的日志投递到 AnalyticDB for MySQL 集群，快速创建日志仓库。适用范围 一键创建数据仓库仅适用于 AnalyticDB for MySQL 数仓版 集群。...
如何不再使用日志服务
概述 日志服务不支持直接关闭，若您不再需要使用日志服务，可以通过删除所有数据，将不会再产生不必要的计费。本文主要介绍如何不再使用日志服务。详细信息 请删除所有Project和Logstore以清除所有的日志数据，具体操作请参见 日志服务如何...
将日志服务数据投递到AnalyticDB MySQL
日志服务采集到日志后，支持将日志投递至云原生数据仓库AnalyticDB MySQL进行存储与分析。本文档介绍将日志投递至AnalyticDB MySQL的操作步骤。说明 投递数据到AnalyticDB MySQL遵循REPLACE INTO语义。REPLACE INTO用于实时覆盖写入的数据...
- 产品推荐
- 这些文档可能帮助您