阿里云文档 2024-08-30

调用GetSparkAppLog查询Spark应用日志

查询Spark应用的日志。

阿里云文档 2024-08-30

调用GetSparkAppAttemptLog查询Spark应用的重试日志

查询Spark应用的重试日志。

问答 2024-07-31 来自:开发者社区

阿里云E-MapReduce如何讓 spark 任務的 dataframe可以出現在日志之內?

阿里云E-MapReduce想請問我要如何讓 spark 任務的 dataframe.show 或是 stdout 可以出現在日志之內?因為我的 cluster 在任務執行完畢之後就會釋放,所以無法進到 cluster 去看 log。想知道要做什麼設定才能讓這些內容直接出現在日志裡面,感謝。

问答 2024-07-15 来自:开发者社区

DataWorks中CDH Spark SQL 运行报错了,麻烦看看呢,日志如下?

DataWorks中CDH Spark SQL 运行报错了,麻烦看看呢,日志如下?

问答 2024-06-15 来自:开发者社区

MaxCompute Spark如何设置日志级别

MaxCompute Spark如何设置日志级别

文章 2024-06-12 来自:开发者社区

spark实战:实现分区内求最大值,分区间求和以及获取日志文件固定日期的请求路径

spark实战:实现分区内求最大值,分区间求和以及获取日志文件固定日期的请求路径 Apache Spark是一个广泛使用的开源大数据处理框架,以其快速、易用和灵活的特点而受到开发者的青睐。在本文中,我们将通过两个具体的编程任务来展示Spark的强大功能:首先是对一个简单的数据列表进行分区操作,并在每个分区内求最大值以及跨分区间求和;其次是从Apache日志文件中提取特定日期的请求路径。这...

spark实战:实现分区内求最大值,分区间求和以及获取日志文件固定日期的请求路径
问答 2024-06-10 来自:开发者社区

EMR集群如何配置Yarn和Spark组建的日志定期清理策略

EMR集群如何配置Yarn和Spark组建的日志定期清理策略

问答 2024-06-07 来自:开发者社区

EMR on ACK的spark组件是否支持编程访问日志服务和VPC内的Redis和MongoDB

EMR on ACK的spark组件是否支持编程访问日志服务和VPC内的Redis和MongoDB

问答 2024-06-07 来自:开发者社区

E-MapReduce使用spark-submit提交spark作业偶尔报错日志中的关键信息为...

E-MapReduce使用spark-submit提交spark作业偶尔报错日志中的关键信息为:SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]

文章 2024-05-28 来自:开发者社区

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

背景 随着互联网服务的广泛普及与技术应用的深入发展,日志数据作为记录系统活动、用户行为和业务操作的宝贵资源,其价值愈发凸显。然而,当前海量日志数据的产生速度已经远远超出了传统数据分析工具的处理能力,这不仅要求我们具备高效的数据收集和存储机制,更呼唤着强大、灵活且易用的数据分析平台的诞生。在此背景下,Apache Spark,这一专为大规模数据处理而设计的计算引擎,成为了构建高性能日志分...

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云日志服务SLS

SLS是一站式云原生可观测性数据平台,一站式提供数据采集、加工、查询与分析、可视化等功能。日常更新产品最新动态,最佳实践以及技术大咖的观点和经验。

+关注