背景随着互联网服务的广泛普及与技术应用的深入发展，日志数据作为记录系统活动、用户行为和业务操作的宝贵资源，其价值愈发凸显。然而，当前海量日志数据的产生速度已经远远超出了传统数据分析工具的处理能力，这不仅要求我们具备高效的数据收集和存储机制，更呼唤着强大、灵活且易用的数据分析平台的诞生。在此背景下，Apache Spark，这一专为...

文章 2024-05-28 来自：开发者社区

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

文章 2023-09-17 来自：开发者社区

1 业务场景百度搜索风云榜（http://top.baidu.com/）以数亿网民的单日搜索行为作为数据基础，以搜索关键词为统计对象建立权威全面的各类关键词排行榜，以榜单形式向用户呈现基于百度海量搜索数据的排行信息，线上覆盖十余个行业类别，一百多个榜单在【热点榜单】中，可以看到依据搜索关键词实时统计各种维度热点，下图展示【实时热点】。仿【百度搜索风云榜】对用户使用百度搜索时日志进行分析：【百度搜....

文章 2022-10-19 来自：开发者社区

Flume+Kafka+Spark Streaming+MySQL实时日志分析

项目背景网络发展迅速的时代，越来越多人通过网络获取跟多的信息或通过网络作一番自己的事业，当投身于搭建属于自己的网站、APP或小程序时会发现，经过一段时间经营和维护发现浏览量和用户数量的增长速度始终没有提升。在对其进行设计改造时无从下手，当在不了解用户的浏览喜欢和个用户群体的喜好。虽然服务器日志中明确的记载了用户访浏览的喜好但是通过普通方式很难从大量的日志中及时有效的筛选出优质信息。Spark S....

文章 2022-02-17 来自：开发者社区

如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析

概述 X-Pack Spark目前是通过Yarn管理资源。在提交Spark 任务后我们经常需要知道任务的运行状况，例如任务失败了在哪里看日志、怎么查看每个Executor的运行状态、每个task的运行状态，性能瓶颈点在哪里等信息。本文主要介绍如何使用X-Pack Spark的Yarn UI 和Spark Job UI来获取上述的信息。 Yarn 基础知识介绍 Yarn 是hadoop体系中的一个....

共有10条

< 1 >

跳转至： GO

更新时间 2025-03-01 12:23:21

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

日志服务分析相关内容

日志服务更多分析相关

日志服务您可能感兴趣

产品推荐

热门帮助文档

阿里云日志服务SLS

SLS是一站式云原生可观测性数据平台，一站式提供数据采集、加工、查询与分析、可视化等功能。日常更新产品最新动态，最佳实践以及技术大咖的观点和经验。

+关注

热门技术解决方案

容器化应用的弹性伸缩攻略

本方案使用应用型负载均衡和容器服务 Kubernetes 版智能分配网络流量，提高应用的高可用性和吞吐量，使用 Kubernetes 的 cluster-autoscaler 社区开源组件以及 Kubernetes 的 Horizontal Pod Autoscaler 内置组件进行弹性伸缩，提升资源利用率，缩减资源成本。

了解更多