数据聚合分析
AnalyticDB的智能分析系统对采集的数据进行了多种分析，从而洞察实例运行状态。实例查询行为画像分析 对单独实例的查询行为进行了统计分析，主要统计指标包括：用户在某段时间内的查询次数；用户查询是否包含join、agg或者sort等；用户第一...
数据分析整体趋势
Hadoop也在早期的MapReduce接口基础上增加了SQL接口，SQL语法逐渐成为大数据分析系统的标准配置。随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon ...
日志同步分析概述
使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 使用Filebeat采集日志数据，将Kafka作为Filebeat的输出端。Kafka实时接收到Filebeat采集的数据后，输出到Logstash中进行过滤处理，最终将满足需求的数据输出到Elasticsearch中...
SQL周期性采集
本文介绍Oracle数据库周期性采集SQL信息以及数据分析的方法。前提条件 Oracle数据库版本为10g、11g、12c。背景信息 周期性采集可以根据自定义的采集周期，持续采集Oracle的SQL信息，并对SQL信息自动合并。说明 周期性采集目前只在离线采集...
监控分析平台对比
在完成数据采集后，还需要有一套合适的系统进行转换、存储、处理、分析，满足多样的需求。数据问题主要包括：数据多样 各类系统数据：cpu、mem、net、disk等通用硬件指标，系统日志。业务黄金指标：延时、流量、错误、饱和度。业务访问日志...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
应用场景
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
可观测概述
在Service Mesh中实现可观测性，涉及了日志、监控指标、链路追踪这些可观测性数据的生成规则配置和采集配置，以及如何将这些可观测数据采集到云托管服务或者自建服务中。同时，还需要考虑如何支持针对网格代理与网关Pod分别定义采集配置，...
大数据安全治理的难点
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
文档修订记录
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...
功能特性
NFS协议文件系统传输加密 SMB协议文件系统传输加密 日志分析 阿里云文件存储（NAS）联合日志服务推出日志分析功能，提供NAS访问日志的实时采集、查询、分析、加工、消费等一站式服务。日志管理 数据访问 功能集 功能 功能描述 参考文档 ...
转换Log为Metric
更多信息，请参见 数据采集。背景信息 应用程序的运行数据，主要有Log、Trace和Metric这三大类数据。Log是离散的事件，Trace可以认为是带请求追踪的事件，Metric是带统计量的事件。Log、Trace、Metric本质上都是事件，满足事件存储的系统都...
DataWorks On EMR使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
自动SQL限流
SQL限流是限制数据库上执行SQL的并发度，通过限制问题SQL的并发度后，保障数据库正常响应业务请求，保障大部分的业务正常运转，即通过小部分业务受损，保障大部分业务正常运行。背景信息 随着技术的发展，尤其是云数据库的普及，数据库系统...
什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
公众号管理
事件名称&事件编码 具体可点击 2 事件及事件属性 查看 设备ID openid（默认），可以在公众号管理中改为Unionid 设备是否首日启动 根据归属应用内的数据一同打标 透出公众号事件的分析模型有：事件分析、漏斗分析、留存分析、分布分析、间隔...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
工作负载安全保护
云上的工作负载是一套支撑IT业务系统运行的相关功能或一些原子能力，诸如服务器、VM、容器、网络、数据库等。通常情况下企业在云上使用最多的工作负载环境就是VM和容器。针对VM和容器的防护要做到以下几点：有效的识别工作负载，梳理清楚在...
使用前须知
阿里云DDoS高防（新BGP）、DDoS高防（国际）联合日志服务推出全量日志分析功能，提供网站访问日志、CC攻击日志的实时采集、查询、分析、加工、消费等一站式服务，帮助您排查网站访问异常、追踪CC攻击者来源、分析网站运营情况等。...
日志同步报警
若您购买了数据采集功能包，并在 组织系统配置 中配置了采集数据同步服务，系统将采集的日志数据加工成可用于分析筛选的行为数据，并将加工好的数据自动同步到用户指定的ADB3.0数据源中。若未成功同步数据到用户指定的数据源，则将在消息...
测试分析及调优
系统的性能是由很多因素决定的，本文很难面面俱到，但是可以作为分析系统性能的一个指导。适用对象和范围 适用于需要进行性能分析及调优的工作。预期读者为测试管理人员、测试实施人员、技术支持人员、项目质量管理人员、项目管理人员等...
日志查询
为网站域名开启WAF日志采集后，您可以使用日志查询功能对采集到的日志数据进行实时查询与分析，并基于查询与分析结果生成统计图表、创建告警等。前提条件 已开通WAF日志服务。具体操作，请参见 快速使用WAF日志服务。查询和分析日志 登录 ...
App端性能体验功能说明
时间范围 支持最近90天的数据查询 维度筛选 支持应用版本、设备机型、操作系统、运营商、渠道、地域的维度筛选 高级功能 新增异常：在时间范围与筛选维度条件下，首次生成错误ID的异常（错误ID是错误摘要唯一识别）屏蔽系统级别的错误：...
埋点API
SDK在采集会话数据时，默认会主动采集每个Activity页面的路径和页面访问时长数据并上报。如果开发者同时调用页面路径手动采集API QtTrackAgent.onPageStart/onPageEnd，则会导致页面数据重复上报，产生冗余页面路径数据，可以在调用...
内网DNS解析日志转存SLS
重要 您只能在SLS配置对已经开启了流量分析的Region、VPC做转存，开启日志转存服务默认开启流量分析服务，如果关闭流量分析服务，会导致日志转存服务没有日志数据。具体请参考 开启流量分析。应用场景 出于合规和安全性的考虑，公司通常...
查看运行分析
这可能会影响系统性能，导致系统卡顿、响应时间过长等问题。个 单个TM CPU使用率（TM CPU Load）单个TM CPU使用率。该值反映Flink对CPU时间片的占用情况，1个Core的CPU用满为100%，4个Core用满为400%。如果该值长期大于100%则说明CPU很繁忙...
日志常见问题
日志数据量小的场景 您可以通过云防火墙日志分析提供的日志下载功能，将日志下载到本地，然后上传到第三方系统。下载日志的具体操作，请参见 导出日志。日志数据量大的场景 您可以通过日志服务控制台，通过程序组编程等方式，将日志数据...
快速接入
产品准备-创建组织和应用 在使用Quick Tracking产品时，首先需要创建一个组织和应用，后续的SDK集成、用户行为日志采集和数据分析都需在此基础之上。组织管理 应用管理 角色授权 埋点方案录入 将业务准备中梳理好的埋点方案内容录入到Quick...
仪表板
通过威胁分析与响应仪表板，您不仅可以集中监控和管理企业在不同云平台、账号及产品间的安全态势，而且还能够以可视化的数据视图直观展示安全运营的成效，便于在安全汇报中快速传达安全状态和风险管理措施的有效性。您可以基于仪表板的实时...
采集ping和tcping数据
本文介绍通过Logtail采集ping和tcping数据到日志服务Metricstore的操作步骤。前提条件 已创建Project和MetricStore。具体操作，请参见 创建Project 和 创建MetricStore。使用限制 只有Linux Logtail 1.0.31及以上版本的Logtail支持采集ping...
采集-通过WebTracking采集日志
开发难度大/成本高：为完成一次数据采集、分析需求，首先需要购买云主机、公网IP、开发数据接收服务器、消息中间件等，并且通过互备保障服务高可用。接下来需要开发服务端并进行测试。使用不易：数据达到服务端后，还需要工程师先清洗结果...
iOS SDK
设置后在产品后台会同展示用户账号 第四步 初始化 查看文档[第四步初始化」必选 第五步 功能开关 查看文档「第五步配置功能开关」可选 可以关闭崩溃分析、卡顿分析、启动分析、网络分析、内存分析、应用内H5页面分析、OOM异常的采集；...
采集HTTP数据
Logtail会根据您的采集配置定期请求指定的URL，将请求返回的Body内容作为数据源上传到日志服务。本文介绍如何通过日志服务控制台创建Logtail采集配置采集HTTP数据。前提条件 已在服务器上安装Logtail。更多信息，请参见 安装Logtail（Linux...
非结构化分析
支持数据实时更新 传统的向量分析系统中数据只能按照T+1更新，不支持数据实时写入。云原生数据仓库PostgreSQL版向量分析支持数据实时更新和查询。支持向量分析碰撞 AnalyticDB PostgreSQL版 向量分析支持KNN-Join，即比较一堆向量与另外一...
应用场景
企业或组织将内部系统的日志或指标数据接入日志服务后，IT运维人员可通过告警功能对稳定性指标（例如响应时间、负载、错误率等）和其他潜在错误进行实时监控，及时识别异常并响应（24×7的值班）。告警功能还支持根据特定的维度对告警事件...
TCP-RT功能的配置说明
此外，TCP-RT还支持在内核系统中做统计分析，定期输出指定连接的统计信息。TCP-RT适用于在一个连接上只有一个并发请求与响应的服务。例如：HTTP/1.1协议的Web服务、MySQL数据库服务、Redis服务等。功能原理 当TCP的服务场景为一个并发的...
什么是威胁分析与响应
功能特性 标准化数据采集 采集跨云平台、跨产品、跨账号的安全告警日志、网络日志、系统日志、应用日志等，对数据进行标准化、上下文增强。多维度威胁检测 基于多源数据关联分析、AI图计算推理、以及实时更新的威胁情报等威胁发现手段，补...
采集及分析Nginx监控日志
您可以通过Logtail插件采集Nginx监控日志，并进行查询分析、告警等操作，全方位监控您的Nginx集群。前提条件 已在服务器上安装Logtail。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）。说明 目前支持Linux ...
米连科技
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
业务运营报表
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
- 产品推荐
- 这些文档可能帮助您