文章 2022-05-06 来自:开发者社区

Apache Hudi + AWS S3 + Athena实战

1. 准备-Spark环境,S3 Bucket需要使用Spark写入Hudi数据,登陆Amazon EMR并启动spark-shell:$ export SCALA_VERSION=2.12 $ export SPARK_VERSION=2.4.4 $ spark-shell \ --packages org.apache.hudi:hudi-spark-bundle_${SCALA_VERSI....

Apache Hudi + AWS S3 + Athena实战
文章 2022-05-06 来自:开发者社区

真香!PySpark整合Apache Hudi实战

1. 准备Hudi支持Spark-2.x版本,你可以点击如下链接安装Spark,并使用pyspark启动# pyspark export PYSPARK_PYTHON=$(which python3) spark-2.4.4-bin-hadoop2.7/bin/pyspark \ --packages org.apache.hudi:hudi-spark-bundle_2.11:0.5.1-...

文章 2022-05-06 来自:开发者社区

Apache Hudi集成Apache Zeppelin实战

1. 简介Apache Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档,并且支持多种语言,包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。当前Hive与SparkSQL已经支持查询Hudi的读优化视图和实时视图。所以理论上....

Apache Hudi集成Apache Zeppelin实战

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注
相关镜像