问答 2018-05-06 来自:开发者社区

spark foreach调用restful接口同步数据效率太差

通过编写 spark程序,读取数据库形成RDD,然后对RDD进行foreach操作,在内部实现方法中对遍历的元素通过调用restful接口同步第三方的数据到本地数据库,将程序 提交到 spark集群后,1000条 数据需要耗时 500秒才可以同步完,效率太差 ,加了spark.default.parallelism也没用,感觉是单线程一样,没有多线程并发执行。上千万数据需要同步,求问各位大神如何....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注