数据聚合分析
AnalyticDB的智能分析系统对采集的数据进行了多种分析，从而洞察实例运行状态。实例查询行为画像分析 对单独实例的查询行为进行了统计分析，主要统计指标包括：用户在某段时间内的查询次数；用户查询是否包含join、agg或者sort等；用户第一...
云产品集成
配置数据库白名单 添加OceanBase for MySQL数据源 Quick BI 数据分析与展现 Quick BI 是一款全场景数据消费式的BI平台，秉承全场景消费数据，让业务决策触手可及的使命，通过智能的数据分析和可视化能力帮助企业构建数据分析系统。...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务...实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务决策。
基于Client SDK数据写入
说明 通过 e.getErrData()即可获得异常数据List，此错误码在 addMap(s)、addRow(s)、commit 操作的时候都可能会发生，因此在这些操作的时候需要单独处理此错误码的异常 COMMIT_ERROR_OTHER 102 commit中的其他异常。ADD_DATA_ERROR 103 add...
日志同步分析概述
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 使用Filebeat采集日志数据，将Kafka作为Filebeat的输出端。Kafka实时接收到Filebeat采集的数据后，输出到Logstash中进行过滤处理，最终将满足需求的数据输出到Elasticsearch中...
自定义异常
崩溃分析服务支持系统提供的异常看板数据，也支持自定义异常数据看板分析功能，本文介绍如何查看自定义异常看板数据。操作步骤 自定义异常是用户通过SDK定义和分类的一系列异常，自定义异常 提供了 自定义异常分析、自定义异常分布、自定义...
通过Elasticsearch机器学习实现业务数据的智能检测和...
场景大类 场景 类别 说明 异常检测Anomaly Detection 单一指标检测Single metric unsupervised 检测单个时序中的异常，数据分析仅在一个索引字段上执行。多指标检测Mutil metric unsupervised 使用一个或多个指标检测异常，并根据需要拆分...
日志关联
当应用出现业务异常问题时，您可以分析业务日志，精准定位业务异常。本文介绍如何在调用链分析中关联日志服务SLS的日志。前提条件 已将应用数据上报至 可观测链路 OpenTelemetry 版，具体操作，请参见 接入指南。已创建Project。具体操作，...
什么是块存储数据洞察
主要功能如下：云盘分析 您可以通过CloudLens for EBS的云盘分析页面，开启云盘的数据采集功能，实时采集并存储云盘性能的秒级监控数据，并将数据进行展示。风险事件 当CloudLens for EBS监测到云盘性能数据达到性能上限或者云盘没有创建...
智能分析-异常根因定位分析利器
例如：上午10点总交易量下降了15%，则您可以分析总交易量的各个维度（省份，机房，类型等），在这些异常数据中发现数据中的模式：机房A的转账交易发生了下降。整个分析过程的长短取决于数据维度的数量。数据维度越多，分析过程越长。日志...
监控分析平台对比
在完成数据采集后，还需要有一套合适的系统进行转换、存储、处理、分析，满足多样的需求。数据问题主要包括：数据多样 各类系统数据：cpu、mem、net、disk等通用硬件指标，系统日志。业务黄金指标：延时、流量、错误、饱和度。业务访问日志...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
节点诊断
数据采集：根据异常识别结果采集和诊断上下文相关的数据。例如，节点诊断采集节点在K8s中的信息、节点对应的ECS信息、节点内Docker、Kubelet等进程运行状态信息。检查项评估：根据采集到的数据，判断关键指标是否正常。例如，节点诊断检查...
Pod诊断
数据采集：根据异常识别结果采集和诊断上下文相关的数据。例如，节点诊断采集节点在K8s中的信息、节点对应的ECS信息、节点内Docker、Kubelet等进程运行状态信息。检查项评估：根据采集到的数据，判断关键指标是否正常。例如，节点诊断检查...
采集ECS服务日志
建议不要删除或修改这3个文件中的内容，否则可能出现异常或者导致数据不正确。当出现问题时，您可以在 logs 目录下查看Beats日志来定位问题。在目标ECS实例上安装云助手和Docker服务。具体操作，请参见 安装云助手Agent 和 部署并使用...
基于日志关键字设置告警
将日志采集到日志服务后，您可以通过日志服务告警系统实现基于日志关键字的告警。背景信息 日志记录了系统的运行过程及异常信息，例如warning日志、error日志、Go语言中的panic错误日志、Java语言中的java.lang.StackOverflowError错误日志...
CloudLens概述
CloudLens基于日志服务构建统一的云产品可观测能力，通过日志、指标、配置计量等数据的关联分析，提供阿里云产品的用量分析、性能监控、安全分析、数据保护、异常检测、访问分析等服务。从成本、性能、安全、数据保护、稳定性、访问分析六...
调用链采样配置最佳实践
基于重保角度考虑，特定时间段全采样 运维过程中也经常会面临重大事件保障的场景，比如大促、新版本压测等，需要针对某一类标签的数据甚至全部应用开启全量数据采集和存储，以便出现问题或者故障时，可以快速定位，甚至影响审计和定责。...
全景监控
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
功能简介
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
功能简介
数据全链路保障是指通过采集数据汇聚、数据融合、数据分析挖掘等阶段的各项任务状态信息，对异常状态进行预警和处置，实现对各任务的实时监控和管理。从应用视角提供平台内跨系统的从数据生产到业务应用的全链路监控能力，其提供的监控端可...
内核发布记录
版本号 发布时间 说明 3.1.7-1.34 2024年03月08日 支持读取MaxCompute内表数据进行分析。支持数据湖分析版本（配合EMR Serverless StarRocks控制台优化）。优化Jindo内存使用效率。优化Compaction的诊断分析信息。优化FE日志内容。修复UDF...
使用集群诊断
配置故障诊断 重要 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、Docker、kubelet等运行状态以及系统日志中的关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。...
Logtail发布历史
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
内存诊断
Memcg残留 当内存控制组（Memory cgroup）由于系统异常，没有正常释放时，Memcg残留会影响系统性能。内存碎片化 内存碎片是指系统长时间远行后，由于空闲的连续内存区域太小，导致不能满足系统连续内存分配请求，从而出现内存分配延时，...
通过消费组读取文本日志进行模板匹配
具体操作，请参见 数据采集、接入时序数据。重要 本文中所涉及的Logstore为Standard Logstore。更多信息，请参见 管理Logstore。已创建智能分析实例。创建日志模板匹配作业 登录 日志服务控制台。进入 创建作业 页面。在 日志应用 区域的 ...
诊断项与诊断结果说明
实例操作系统异常 实例操作系统出现了内核Panic、OOM异常或内部宕机等故障。检查该实例的操作系统（Guest OS）内部是否存在内核Panic、OOM异常或内部宕机等故障。此类故障可能是由于实例配置不当或用户空间的程序配置不当导致的，您可以...
离线核对
是否资损：有资损：根据异常数据排查问题并分析原因，确定发生资金损失。无资损：未出现资金损失。异常原因描述：长度不超过 500 个字符。可以详细写明判断为误报或非误报、有资损或无资损的原因，便于后续复盘，也可以方便其他用户了解...
常见问题
在数据水印的基础上，数据安全中心通过系统内置的异常事件检测，对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及...
通过日志服务采集Kubernetes容器日志
定制需求1：将多个应用数据采集到同一Logstore 如果您需要将多个应用数据采集到同一Logstore，可以设置 aliyun_logs_{key}_logstore 参数，例如以下配置将2个应用的stdout采集到stdout-logstore中。示例中应用1的 {key} 为 app1-stdout，...
同步方案选取指南
大数据离线同步场景（可实现最快分钟级的离线数据采集任务）。需要自定义查询语句，以及多表联合查询后同步数据的场景。同步整个数据库中数据的场景。需要开通DataWorks服务。对于传输速度要求较高或复杂环境中的数据源同步场景，需要...
网络诊断
重要 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。前提条件 已创建ACK...
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月（V7....
存储资源
数据库实例异常 是指数据库系统在运行过程中出现异常情况，导致数据库无法正常工作或提供服务的状态。可能原因包含数据库服务进程异常退出、数据库节点宕机、数据库网络异常等，常见的容错策略如下：自动重启：当数据库实例异常终止或崩溃...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
App端性能体验功能说明
时间范围 支持最近90天的数据查询 维度筛选 支持应用版本、设备机型、操作系统、运营商、渠道、地域的维度筛选 高级功能 新增异常：在时间范围与筛选维度条件下，首次生成错误ID的异常（错误ID是错误摘要唯一识别）屏蔽系统级别的错误：...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
指标含义与异常处理建议
查询算法差异性：例如，阿里云Elasticsearch集群监控和Kibana监控采集数据时都会受集群稳定性的影响，集群监控QPS指标会因集群的抖动会出现监控突增、负值或无监控等状况，而Kibana监控可能显示为空。说明 如果集群监控提供的指标比Kibana...
版本选型
离群实例摘除 当应用实例出现异常时，该功能可将异常实例按照规则从负载均衡池中移除，保障客户端请求到正常实例上，提升业务的稳定性和服务质量。服务治理可观测 支持查询近五分钟内的实时QPS、RT、CPU、Load等监控数据。企业版 面向全...
- 产品推荐
- 这些文档可能帮助您