阿里云文档 2026-04-24

如何通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据

ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具,可以让数据在Elasticsearch和Hadoop之间双向移动,无缝衔接Elasticsearch与Hadoop服务,充分使用Elasticsearch的快速搜索及Hadoop批处理能力,实现交互式数据处理。本文介绍通过ES-Hadoop组件在Hive上进行Elasticsearch数据的查询和写入,帮助您将...

阿里云文档 2025-01-24

准备Hadoop、Hive、EMR SDK和表格存储SDK

使用Hive/HadoopMR来访问表格存储中的表前,您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。

文章 2023-12-25 来自:开发者社区

Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)

修改虚拟机IP复制网卡的配置第一种方式:配置文件向识别的网卡兼容1、 通过一个主机复制出多个主机2、 开启复制的主机,启动时选择“复制”3、 启动后查看IP ifconfig查看系统识别的网卡Ifconfig -a这里ifconfig看不到IP 是因为系统识别的设备名称与系统配置文件不同导致。配置文件名称解决方案:修改配置文件名为系统识别的名称(将eth0改为eth1)修改eth1内的配置保存退....

Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
文章 2017-11-21 来自:开发者社区

Hadoop Hive概念学习系列之hive里的HiveQL——查询语言(十五)

Hive的操作与传统关系型数据库SQL操作十分类似。     Hive主要支持以下几类操作: DDL   1、DDL:数据定义语句,包括CREATE、ALTER、SHOW、DESCRIBE、DROP等。        详细点,就是   Hive支持大量SQL数据定义语言(Data Definition Language,DDL)中的现有功能,包括以下各种语句:   CREATE...

Hadoop Hive概念学习系列之hive里的HiveQL——查询语言(十五)
文章 2017-11-21 来自:开发者社区

Hadoop Hive概念学习系列之hive里的索引(十三)

Hive支持索引,但是Hive的索引与关系型数据库中的索引并不相同,比如,Hive不支持主键或者外键。 Hive索引可以建立在表中的某些列上,以提升一些操作的效率,例如减少MapReduce任务中需要读取的数据块的数量。 在可以预见到分区数据非常庞大的情况下,索引常常是优于分区的。   博主我推荐各位博文们通过查阅Hive文档对Hive表的索引进行更深入的了解。   需要时刻记住的是,Hive并....

Hadoop Hive概念学习系列之hive里的索引(十三)
文章 2017-11-20 来自:开发者社区

Hadoop Hive概念学习系列之hive的正则表达式初步(六)

 说在前面的话   hive的正则表达式,是非常重要!作为大数据开发人员,用好hive,正则表达式,是必须品!              Hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此,特意做了个hive正则表达式的小结。所有代码都经过亲测,正常运行。 1.regexp 语法: A REGE...

Hadoop Hive概念学习系列之hive的正则表达式初步(六)
文章 2017-11-20 来自:开发者社区

Hadoop Hive概念学习系列之hive的索引及案例(八)

hive里的索引是什么?   索引是标准的数据库技术,hive 0.7版本之后支持索引。Hive提供有限的索引功能,这不像传统的关系型数据库那样有“键(key)”的概念,用户可以在某些列上创建索引来加速某些操作,给一个表创建的索引数据被保存在另外的表中。 Hive的索引功能现在还相对较晚,提供的选项还较少。但是,索引被设计为可使用内置的可插拔的java代码来定制,用户可以扩展这个功能来满足自己的....

文章 2017-11-20 来自:开发者社区

Hadoop Hive概念学习系列之hive里的优化和高级功能(十四)

在一些特定的业务场景下,使用hive默认的配置对数据进行分析,虽然默认的配置能够实现业务需求,但是分析效率可能会很低。 Hive有针对性地对不同的查询进行了优化。在Hive里可以通过修改配置的方式进行优化。   以下,几种方式调优的属性。   1、列裁剪   在通过Hive读取数据的时候,并不是所有的需求都要获取表内的所有的数据。有些只需要读取所有列中的几列,而忽略其他列的的数据。 例如...

文章 2017-11-20 来自:开发者社区

Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出(强烈建议去看)(十八)

把MySQL里的数据导入到HDFS   1、使用MySQL工具手工导入   把MySQL的导出数据导入到HDFS的最简单方法就是,使用命令行工具和MySQL语句。 为了导出整个数据表或整个数据库的内容,MySQL提供了mysqldump工具。     比如   SELECT  col1,col2 FORM TABLE       &nbs...

文章 2017-11-20 来自:开发者社区

Hadoop Hive概念学习系列之内部表和外部表对比分析(二)

Hive 的数据表分为两种,内部表和外部表。         内部表:这种表可以理解为数据和表结构都保存在一起的数据表。         外部表:在表结构创建以前,数据已经保存在 HDFS 中,通过创建表结构,将数据格式化到表的结果里。            ...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注