问答 2024-07-29 来自:开发者社区

在表格存储中官网的spark这样读取OTS能否设置连接OTS的超时参数?

在表格存储中官网的spark这样读取OTS能否设置连接OTS的超时参数?请参考图片:

问答 2024-04-29 来自:开发者社区

在spark集群中通过公网访问写数据到ADB MySQL湖仓版报连接超时,是要做哪些配置吗?

在spark集群中通过公网访问写数据到ADB MySQL湖仓版报连接超时,是要做哪些配置吗?

问答 2024-03-19 来自:开发者社区

DataWorks中ODDS Spark链接EMR Starrocks报链接超时该如何处理?

DataWorks中ODDS Spark链接EMR Starrocks报链接超时该如何处理?

阿里云文档 2024-01-04

Spark on MaxCompute访问Lindorm报错连接超时

使用Spark on MaxCompute访问Lindorm实例时可能会出现Connection Timeout的报错,这可能涉及Spark on MaxCompute的网络架构和数据通信方式等多方面的影响。本文介绍出现Connection Timeout报错的原因和解决方法。

文章 2023-10-10 来自:开发者社区

线上 hive on spark 作业执行超时问题排查案例分享

线上 hive on spark 作业执行超时问题排查案例分享大家好,在此分享一个某业务系统的线上 hive on spark 作业在高并发下频现作业失败问题的原因分析和解决方法,希望对大家有所帮助。1 问题现象某业务系统中,HIVE SQL 以 hive on spark 模式运行在 yarn上指定的资源队列下,在业务高峰期发现部分 SQ...

线上 hive on spark 作业执行超时问题排查案例分享
文章 2022-05-29 来自:开发者社区

spark shuffle(ExchangeExec)过多导致任务运行过慢甚至超时

背景以及现象本文基于 spark 3.1.2设置spark.driver.memory=2g在调试spark sql任务的时候,发现有任务产生了200多个exchange,而且任务长期运行不出来。分析运行对应的sql(多个连续的join操作,且join的key都不一样),得到如下的物理计划(...

spark shuffle(ExchangeExec)过多导致任务运行过慢甚至超时
文章 2022-05-29 来自:开发者社区

spark task过多导致任务运行过慢甚至超时

背景以及现象本文基于 spark 3.1.2设置spark.driver.memory=2g在调试spark sql任务的时候,发现有几个任务产生了40多万个Task,而且任务长期运行不出来。分析运行此sql,可以得到如下的dag(我们只截取产生Task多的Stage),由此可以看到是scan的文件太大了...

spark task过多导致任务运行过慢甚至超时
问答 2019-10-24 来自:开发者社区

spark程序偶尔会运行超时,怎样才能让sparksql程序如果超过一个小时就自动kill掉?

spark程序偶尔会运行超时,怎样才能让sparksql程序如果超过一个小时就自动kill掉?

文章 2017-11-09 来自:开发者社区

【问题】spark运行python写的mapreduce任务,hadoop平台报错,java.net.ConnectException: 连接超时

问题: 用spark-submit以yarn-client方式提交任务,在集群的某些节点上的任务出现连接超时的错误,排查过各种情况后,确定在防火墙配置上出现问题。 原因: 我猜测是python程序启动后,作为Server,hadoop中资源调度是以java程序作为Client端访问, Python启动的Server端需要接受localhost的client访问。 当你从一台linux主机向自身发....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注