阿里云文档 2024-07-12

查看Spark监控信息

若您想查看云原生数据仓库 AnalyticDB MySQL 版集群Spark作业的运行指标,可以参照本文档的操作步骤,在云监控页面中查看对应监控项信息,以便您及时掌握集群的性能和运行状况,排查并解决问题。

阿里云文档 2024-07-08

调用GetSparkAppInfo查询Spark应用的信息

查看Spark应用的信息。

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
385 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
276 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
120 人已学 |
免费
开发者课程背景图
阿里云文档 2024-07-08

调用ListSparkAppAttempts查询Spark应用的重试信息

查询指定Spark应用的重试信息。

问答 2024-06-15 来自:开发者社区

MaxCompute spark任务的log view中如何查看print的信息

MaxCompute spark任务的log view中如何查看print的信息

问答 2024-06-12 来自:开发者社区

DMS任务编排Spark SQL节点失败无报错信息

DMS任务编排Spark SQL节点失败无报错信息

问答 2024-06-07 来自:开发者社区

E-MapReduce使用spark-submit提交spark作业偶尔报错日志中的关键信息为...

E-MapReduce使用spark-submit提交spark作业偶尔报错日志中的关键信息为:SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]

问答 2024-05-28 来自:开发者社区

大数据计算MaxCompute Spark中ak信息的配置?有文档么?

大数据计算MaxCompute Spark中ak信息的配置?有文档么?

文章 2022-10-31 来自:开发者社区

查看Spark任务的详细信息

欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos在学习Spark的过程中,查看任务的DAG、stage、task等详细信息是学习的重要手段,在此做个小结;环境信息本文对应的环境信息如下:CentOS Linux release 7.5.1804JDK:1.8.0_191hadoop:2.7.7spark....

查看Spark任务的详细信息
文章 2022-05-29 来自:开发者社区

SPARK push-based shuffle mapTask是怎么获取ESS列表信息

背景本文基于SPARK 3.2.1之前的文章SPARK SHUFFLE中 ShuffleId BlockManagerId 以及 与ESS(External Shuffle Server)交互,我们只是讲了一下大概的shuffle流程,这次来分析一下push-based shuffle,便于更好的理解spark shuffle中push-based sh...

文章 2022-05-29 来自:开发者社区

SPARK统计信息的来源-通过优化规则来分析

背景此文的分析基于spark 3.1.2且set spark.sql.catalogImplementation = hive 且表是分区的情况下在之前翻译的文章Spark SQL explaind中的统计信息-深入了解CBO优化里,我们说到,如果一个hive表是分区的,没有开启CBO,没有进行ATC,那么该逻辑计划的sizeInB...

SPARK统计信息的来源-通过优化规则来分析

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注