问答
2018-05-06
来自:开发者社区
spark foreach调用restful接口同步数据效率太差
通过编写 spark程序,读取数据库形成RDD,然后对RDD进行foreach操作,在内部实现方法中对遍历的元素通过调用restful接口同步第三方的数据到本地数据库,将程序 提交到 spark集群后,1000条 数据需要耗时 500秒才可以同步完,效率太差 ,加了spark.default.parallelism也没用,感觉是单线程一样,没有多线程并发执行。上千万数据需要同步,求问各位大神如何....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
apache spark数据相关内容
- 开源apache spark数据
- apache spark maxcompute数据
- apache spark计算数据
- apache spark scala数据
- 大数据apache spark数据
- apache spark数据格式
- apache spark数据序列化
- apache spark sql查询数据
- apache spark dataframe数据
- apache spark查询数据
- apache spark streaming数据
- apache spark查询hudi数据
- apache spark hudi数据
- 产品apache spark数据
- apache spark任务数据
- 运行apache spark数据
- apache spark数据表报
- emr apache spark数据
- apache spark kafka数据
- apache spark数据报错
- apache spark summit数据分析
- apache spark数据异常
- apache spark数据hive
- apache spark数据特征
- apache spark ml数据
- apache spark抽取数据
- apache spark数据编码
- apache spark数据字段
- apache spark分析数据
- apache spark数据连接
apache spark更多数据相关
- apache spark访问数据
- apache spark数据配置
- apache spark rdd数据
- apache spark学习sparksql编程数据加载
- adb apache spark数据
- 同步数据apache spark
- apache spark程序数据
- apache spark hive数据
- apache spark数据区别
- apache spark数据本地性
- apache spark summit数据
- apache spark数据方法
- apache spark odps数据
- apache spark east数据
- apache spark数据案例
- apache spark summit east数据分析
- apache spark parquet数据
- apache spark mllib数据
- apache spark读写数据
- apache spark hbase数据
- apache spark归档数据
- apache spark数据rdd
- apache spark数据学习笔记
- apache spark summit east数据
- apache spark构建数据
- apache spark数据切分
- apache spark deltalake数据
- apache spark数据hologres
- apache spark数据模型
- apache spark数据位置管理
apache spark您可能感兴趣
- apache spark依赖
- apache spark任务
- apache spark rdd
- apache spark ha
- apache spark master
- apache spark运行
- apache spark作业
- apache spark集群
- apache spark Mapreduce
- apache spark shuffle
- apache spark SQL
- apache spark streaming
- apache spark Apache
- apache spark Hadoop
- apache spark大数据
- apache spark MaxCompute
- apache spark summit
- apache spark模式
- apache spark分析
- apache spark flink
- apache spark学习
- apache spark Scala
- apache spark机器学习
- apache spark实战
- apache spark操作
- apache spark技术
- apache spark yarn
- apache spark程序
- apache spark报错
- apache spark大数据分析
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!
+关注