如何监控AWS EMR集群中托管的spark中的hive thrift服务器运行状况？
我们使用JDBC连接到我们的spark EMR集群上的hive thrift服务器。我们遇到了一些thrift服务器崩溃的瞬态问题，需要手动重启。我们想知道是否有任何[希望简单]的方式来监控服务器的健康状况？至少，我们希望在它发生故障时收到警报。拥有其他服务器运行状况指标也很不错。
当数据存储在对象存储中时，从Spark SQL访问Hive表
我使用spark数据帧编写器在IBM Cloud Object Storage中以parquet 格式在内部hive表中编写数据。所以，我的hive Metastore在HDP集群中，我从HDP集群运行spark作业。此spark作业将数据以parquet 格式写入IBM COS。这就是我开始saprk session的方式 SparkSession session = SparkSession....
Spark sql和hive导致“错误：无法找到或加载主类”
我使用Scala开发了一个使用hive进行通信的spark应用程序。它在Intellij的想法上工作得很好。但是当我构建一个具有所有依赖性的jar文件时，我收到错误 错误：无法找到或加载主类 经过进一步调试后，我发现当我包含spark SQL或hive时，我收到错误。这是一个maven项目。请查看我的pom.xml 4.0.0 spkspk1.0-SNAPSHOT org.apac...
Apache Spark Scala - Hive插入抛出“太大的数据帧错误”
我试图使用下面的代码插入Hive但由于某种原因它总是失败。我试过调整内存但没有帮助。 错误堆栈跟踪： [Stage 4:=====================================================>(999 + 1) / 1000]18/11/27 09:59:44 WARN TaskSetManager: Lost task 364.0 in stage 4....
Spark - 从Hive读取并创建没有案例类的强类型数据集
我使用spark来从Hive表中读取数据，而我真正想要的是强类型 Dataset这就是我在做的，这是有效的：val myDF = spark.sql("select col1, col2 from hive_db.hive_table")// Make sure that the field names in the case class exactly match the hive colum....
请问flink 能像spark那样直接对hive表进行查询和计算吗？
转自钉钉群21789141：请问flink 能像spark那样直接对hive表进行查询和计算吗？
Comparison of Spark SQL with Hive
在Hadhoop summit 2016上， Yusuke Furuyama Yang Xie分享了题为《Comparison of Spark SQL with Hive》，就智能电力公用事业示例使用案例，2. MapReduce和Spark 1.6的性能评，Spark 2.0等方面的内容做了深入的分析。 https://yq.aliyun.com/download/1926?spm=a2...
spark替代HIVE实现ETL作业
河狸家数据小二黄伟伦在2017第八届数据库大会上做了题为《spark替代HIVE实现ETL作业》的分享，就使用HIVE的一些问题，SPARK针对ETL场景配置优化，SPARK执行复杂SQL遇到的问题与解决，利用SPARK应对未来ETL场景做了深入的分析。 https://yq.aliyun.com/download/419?spm=a2c4e.11154804.0.0.4df76a79Ww2...
[Spark][Hive]Hive的命令行客户端启动：
[Spark][Hive]Hive的命令行客户端启动： [training@localhost Desktop]$ chkconfig | grep hive hive-metastore 0:off 1:off 2:off 3:on 4:on 5:on 6:off hive-server2 0:off 1:off 2:off 3:on 4:on 5:on 6:off [training@loc....
[Spark][Hive]外部文件导入到Hive的例子
外部文件导入到Hive的例子： [training@localhost ~]$ cd ~ [training@localhost ~]$ pwd /home/training [training@localhost ~]$ [training@localhost ~]$ vim customers.txt [training@localhost ~]$ [training@localh...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。