文章 2023-12-25 来自:开发者社区

大数据开发岗大厂面试30天冲刺 - 日积月累,每日五题【Day02】——Hive2

面试题 01 窗口函数(开窗函数)OVER():用于指定分析函数工作时的数据窗口大小,这个数据窗口大小可能会随着行的变而变化;CURRENT ROW:当前行;n PRECEDING:往前n行数据;n FOLLOWING:往后n行数据;UNBOUNDED:起点,UNBOUNDED PRECEDING 表示从前面的起点UNBOUNDED FOLLOWING表示到后面的终点;LAG(col,n,def....

文章 2023-12-25 来自:开发者社区

大数据开发岗面试30天冲刺 - 日积月累,每日五题【Day01】——Hive1

面试题01、 请说下Hive和数据库的区别Hive 和数据库除了拥有类似的查询语言,再无类似之处。1)数据存储位置Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。2)数据更新Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的,3)执行延迟Hive 执行延迟较高。数据库的执行延迟较低。当然,这个是有条件的,即数据规模较小,当数据规模大到超过数据库的处理....

大数据开发岗面试30天冲刺 - 日积月累,每日五题【Day01】——Hive1

Java面试疑难点解析 - 面试技巧及语言基础

61 课时 |
3837 人已学 |
免费

Java面试疑难点解析 - Java Web开发

36 课时 |
753 人已学 |
免费

Java面试疑难点解析 - 系统架构及项目设计

25 课时 |
1581 人已学 |
免费
开发者课程背景图
文章 2023-12-22 来自:开发者社区

大数据面试题百日更新_Hive专题(Day12)

hive 有索引吗Hive 支持索引,但是 Hive 的索引与关系型数据库中的索引并不相同,比如,Hive 不支持主键或者外键。Hive 索引可以建立在表中的某些列上,以提升一些操作的效率,例如减少 MapReduce 任务中需要读取的数据块的数量。在可以预见到分区数据非常庞大的情况下,索引常常是优于分区的。虽然 Hive 并不像事物数据库那样针对个别的行来执行查询、更新、删除等操作。它更多的用....

文章 2023-07-29 来自:开发者社区

大数据面试题:Hive count(distinct)有几个reduce,海量数据会有什么问题

参考答案:count(distinct)只有1个reduce。为什么只有一个reducer呢,因为使用了distinct和count(full aggreates),这两个函数产生的mr作业只会产生一个reducer,而且哪怕显式指定set mapred.reduce.tasks=100000也是没用的。当使用count(disti...

大数据面试题:Hive count(distinct)有几个reduce,海量数据会有什么问题
文章 2023-01-31 来自:开发者社区

大数据知识面试题-Hive

1.1、Hive 数据模型Hive中所有的数据都存储在HDFS中,没有专门的数据存储格式在创建表时指定数据中的分隔符,Hive 就可以映射成功,解析数据。Hive中包含以下数据模型:**db:**在hdfs中表现为hive.metastore.warehouse.dir目录下一个文件夹**table:**在hdf...

大数据知识面试题-Hive
文章 2022-07-08 来自:开发者社区

大数据面试-hive

一、hive表关联查询,如何解决数据倾斜问题?1)倾斜原因:map 输出数据按 key Hash 的分配到 reduce 中,由于 key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的 reduce 上的数据量差异过大。(1)key 分布不均匀;(2)业务数...

文章 2022-06-10 来自:开发者社区

【大数据面试题】(三)Hive 基础知识及优化总结2

4.cluster bycluster by除了具有distribute by的功能外还兼具sort by的功能。当distribute by和sort by 是同一个字段的时候可以使用cluster by替代。但是排序只能是倒叙排序,不能指定排序规则为ASC或者DESC。三种分组的区别1.row_number:不管col2字段的值是否相等,行号一直递增...

文章 2022-06-10 来自:开发者社区

【大数据面试题】(三)Hive 基础知识及优化总结1

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。Metastore (hive元数据)Hive将元数据存储在数据库中,比如mysql 、derby。Hive中的元数据包括表的名称,...

文章 2022-06-10 来自:开发者社区

【大数据面试题】(二)Hive 相关面试题总结

文章目录1、Hive 表关联查询,如何解决数据倾斜的问题?2、请谈一下 Hive 的特点,Hive 和 RDBMS 有什么异同?3、请说明 hive 中 Sort By,Order By,Cluster By,Distrbute By各代表什么意思?4、Hive 有哪些方式保存元数据&...

【大数据面试题】(二)Hive 相关面试题总结
文章 2021-12-21 来自:开发者社区

【最全的大数据面试系列】Hive面试题大全

🚀 作者 :“大数据小禅”🚀 专栏简介 :本专栏主要分享收集的大数据相关的面试题,涉及到Hadoop,Spark,Flink,Zookeeper,Flume,Kafka,Hive,Hbase等大数据相关技术。大数据面试专栏地址...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。