文章 2022-02-21 来自:开发者社区

数仓工具之Hive调优

第1章 Hive调优1.1 Fetch抓取(不使用MR)Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM emp;在这种情况下,Hive可以简单地读取emp对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,....

问答 2022-02-15 来自:开发者社区

Flink实时数仓落Hive一般用哪种方式好?

有人说直接写到HBase,再在Hive关联Hbase表 但是我想直接写文件到HDFS,再通过Hive外表加载,不过有几个问题不明白: 如果用行式格式实时写没有问题,StreamingFileSink也支持,但是如果我想用列式格式(如Parquet或ORC) 写的话,目前来看没有现成的Streaming Writer,官方提供的都是 BulkWriter,只支持批处理方式。是不是不建议用...

文章 2021-12-19 来自:开发者社区

对 Hive 数仓表进行高效小文件合并 | 学习笔记

开发者学堂课程【数据湖 JindoFS + OSS 实操干货36讲:对 Hive 数仓表进行高效小文件合并】学习笔记,与课程紧密联系,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/833/detail/13982对 Hive 数仓表进行高效小文件合并 内容介绍一、背景介绍二、主要功能一、背景介绍(1)小文件如何产....

文章 2021-12-19 来自:开发者社区

分层更高效,对 Hive 数仓进行热度/冷度统计 | 学习笔记

开发者学堂课程【数据湖 JindoFS + OSS 实操干货36讲:分层更高效,对 Hive 数仓进行热度/冷度统计】学习笔记,与课程紧密联系,让用户快速学习知识。课程地址:https://developer.aliyun.com/learning/course/833/detail/13981分层更高效,对 Hive 数仓进行热度/冷度统计 内容介绍一、热/冷度统计介绍二、热/冷度统....

问答 2021-12-12 来自:开发者社区

hive数仓建模需要注意什么?

hive数仓建模需要注意什么?

问答 2021-12-12 来自:开发者社区

hive数仓建模的步骤是什么?

hive数仓建模的步骤是什么?

问答 2021-12-12 来自:开发者社区

hive在数仓建模中的事实表有什么类型的?

hive在数仓建模中的事实表有什么类型的?

问答 2021-12-12 来自:开发者社区

hive在数仓建模中的表格类型有什么?

hive在数仓建模中的表格类型有什么?

问答 2021-12-12 来自:开发者社区

hive在数仓建模中模型如何选择?

hive在数仓建模中模型如何选择?

问答 2021-12-12 来自:开发者社区

hive在数仓建模中模型可以分哪几类?

hive在数仓建模中模型可以分哪几类?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据仓库

阿里云自主研发的云原生数据仓库,具有高并发读写、低峰谷读写、弹性扩展、安全可靠等特性,可支持PB级别数据存储,可广泛应用于BI、机器学习、实时分析、数据挖掘等场景。包含AnalyticDB MySQL版、AnalyticDB PostgreSQL 版。

+关注