问答 2024-07-15 来自:开发者社区

DataWorks中CDH Spark SQL 运行报错了,麻烦看看呢,日志如下?

DataWorks中CDH Spark SQL 运行报错了,麻烦看看呢,日志如下?

阿里云文档 2024-07-08

调用GetSparkAppLog查询Spark应用日志

查询Spark应用的日志。

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
390 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
276 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
120 人已学 |
免费
开发者课程背景图
阿里云文档 2024-07-08

调用GetSparkAppAttemptLog查询Spark应用的重试日志

查询Spark应用的重试日志。

阿里云文档 2024-07-08

调用GetSparkConfigLogPath获取Spark日志配置路径

查询AnalyticDB MySQL Spark中的日志配置结果,包括默认的Spark日志写入地址。

问答 2024-06-15 来自:开发者社区

MaxCompute Spark如何设置日志级别

MaxCompute Spark如何设置日志级别

文章 2024-06-12 来自:开发者社区

spark实战:实现分区内求最大值,分区间求和以及获取日志文件固定日期的请求路径

spark实战:实现分区内求最大值,分区间求和以及获取日志文件固定日期的请求路径 Apache Spark是一个广泛使用的开源大数据处理框架,以其快速、易用和灵活的特点而受到开发者的青睐。在本文中,我们将通过两个具体的编程任务来展示Spark的强大功能:首先是对一个简单的数据列表进行分区操作,并在每个分区内求最大值以及跨分区间求和;其次是从Apache日志文件中提取特定日期的请求路径。这...

spark实战:实现分区内求最大值,分区间求和以及获取日志文件固定日期的请求路径
问答 2024-06-10 来自:开发者社区

EMR集群如何配置Yarn和Spark组建的日志定期清理策略

EMR集群如何配置Yarn和Spark组建的日志定期清理策略

问答 2024-06-07 来自:开发者社区

EMR on ACK的spark组件是否支持编程访问日志服务和VPC内的Redis和MongoDB

EMR on ACK的spark组件是否支持编程访问日志服务和VPC内的Redis和MongoDB

问答 2024-06-07 来自:开发者社区

E-MapReduce使用spark-submit提交spark作业偶尔报错日志中的关键信息为...

E-MapReduce使用spark-submit提交spark作业偶尔报错日志中的关键信息为:SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]

文章 2024-05-28 来自:开发者社区

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

背景 随着互联网服务的广泛普及与技术应用的深入发展,日志数据作为记录系统活动、用户行为和业务操作的宝贵资源,其价值愈发凸显。然而,当前海量日志数据的产生速度已经远远超出了传统数据分析工具的处理能力,这不仅要求我们具备高效的数据收集和存储机制,更呼唤着强大、灵活且易用的数据分析平台的诞生。在此背景下,Apache Spark,这一专为大规模数据处理而设计的计算引擎,成为了构建高性能日志分...

基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注