问答 2019-10-24 来自:开发者社区

请问我想做spark structured 加载多个集群的Hive当做维表,怎么可以实现

这样可以实现吗 这样写不行 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。点击链接欢迎加入感兴趣的技术领域群

问答 2019-09-27 来自:开发者社区

在 aws 和 azure 分别搭了一个 Hadoop 集群,想写sql 分析两个集群的hive数据

有人知道怎么办吗 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。点击链接欢迎加入感兴趣的技术领域群。

问答 2018-12-21 来自:开发者社区

如何监控AWS EMR集群中托管的spark中的hive thrift服务器运行状况?

我们使用JDBC连接到我们的spark EMR集群上的hive thrift服务器。我们遇到了一些thrift服务器崩溃的瞬态问题,需要手动重启。我们想知道是否有任何[希望简单]的方式来监控服务器的健康状况?至少,我们希望在它发生故障时收到警报。拥有其他服务器运行状况指标也很不错。

文章 2018-04-11 来自:开发者社区

hive在E-MapReduce集群的实践(一)hive异常排查入门

hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。 本文是hive实践系列的第一篇,以E-MapReduce集群环境为例,介绍常见的hive执行异常,定位和解决方法,以及hive日志查看方法。 除作者本人的知乎专栏外,其他转载需要先联系我。 一.常见异常表现 主要是执行hive sql时卡住,提示异常.....

文章 2018-03-06 来自:开发者社区

hive在E-MapReduce集群的实践(二)集群hive参数优化

本文介绍一些常见的集群跑hive作业参数优化,可以根据业务需要来使用。 提高hdfs性能 修改hdfs-site,注意重启hdfs服务 dfs.client.read.shortcircuit=true //直读 dfs.client.read.shortcircuit.streams.cache.size=4096  //直读缓存 dfs.datanode.balance.bandwi...

文章 2017-11-15 来自:开发者社区

Hadoop集群(五) Hive安装

作为一个多年的DBA,hadoop家族中,最亲切的产品就是hive了。毕竟SQL的使用还是很熟悉的。再也不用担心编写Mapreducer的痛苦了。 首先还是简单介绍一下Hive吧 Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。 简单来说,Hive就是在Hadoop上架了一层SQL接....

文章 2017-11-12 来自:开发者社区

presto集群安装&整合hive|mysql|jdbc

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator(调度节点)和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker中。 目录: 搭建前环境准备 集群计划 连接器 安装步骤 配置文件 运行presto 整...

presto集群安装&整合hive|mysql|jdbc
文章 2017-11-12 来自:开发者社区

Hive之 hive-1.2.1 + hadoop 2.7.4 集群安装

一、 相关概念 Hive Metastore有三种配置方式,分别是: Embedded Metastore Database (Derby) 内嵌模式 Local Metastore Server 本地元存储 Remote Metastore Server 远程元存储 1.1 Metadata、Metastore作用 metadata即元数据。元数据包含用Hive创建的database、tabe....

Hive之 hive-1.2.1 + hadoop 2.7.4 集群安装
问答 2017-02-03 来自:开发者社区

在阿里云上自己搭建hadoop/hive的官方版本的集群,可不可以使用oss的服务

我在阿里云上搭建了,hadoop/hive官网开源版本的集群,不是使用阿里云提供的E-MapReduce版本,不知道能不能在官方版本的hive中使用阿里云oss作为数据源?如果可以,能否提供一下示例代码。

问答 2016-06-28 来自:开发者社区

aliyun emr集群上,zeppelin上往hive表里面插入一条记录,一直卡着不动

在自带的zeppelin界面上,操作hive sql往表里面插入一条数据,一直卡着不动。是不是有bug啊?补充一下图:

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐