阿里云文档 2024-07-11

多引擎Spark-2.x依赖的配置及示例

本文为您介绍Spark-2.x依赖的配置以及Spark-2.x示例说明。

问答 2024-06-04 来自:开发者社区

spark 读取 大数据计算MaxCompute 本地需要依赖什么包?

spark 读取 大数据计算MaxCompute 本地需要依赖什么包?

阿里云文档 2023-09-03

Spark-1.x依赖的配置以及Spark-1.x相关示例_云原生大数据计算服务 MaxCompute(MaxCompute)

本文为您介绍Spark-1.x依赖的配置以及Spark-1.x相关示例。

问答 2022-02-15 来自:开发者社区

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包,spark-submit执行后不是TopicMetadataRequest类找不到就是StringDecoder找不到,kafka是0.8.2.1,spark'是1.6.0-cdh5.8.0的,大家遇到过这种问题吗

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包,spark-submit执行后不是TopicMetadataRequest类找不到就是StringDecoder找不到,kafka是0.8.2.1,spark'是1.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注