文章 2025-03-13 来自:开发者社区

Dataphin功能Tips系列(48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列

一、场景 客户A需要对生产和开发环境的Hive SQL/Spark SQL根据任务优先级指定YARN资源队列,提高任务执行效率和资源利用率,在Dataphin上如何实现? 二、解决方案及功能 Dataphin支持根据任务优先级指定YARN资源队列 ①【计算源-队列信息配置】配置资源队列,具体可以联系Hadoop的运维团队或者是从yarn-site.xml中获取资源...

Dataphin功能Tips系列(48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
阿里云文档 2025-01-21

Flink Hive SQL作业快速入门

实时计算Flink版支持使用Hive方言创建批处理作业,通过兼容Hive SQL语法增强与Hive互操作性,便于从现有Hive作业平滑迁移至实时计算管理控制台。

问答 2024-06-11 来自:开发者社区

E-MapReduce通过hive jdbc方式向集群提交多条不同类型的sql任务会偶发报错 ...

E-MapReduce通过hive jdbc方式向集群提交多条不同类型的sql任务会偶发报错 Caused by: org.apache.thrift.transport.TTransportException: java.net.SocketException: Broken pipe (Write failed)

阿里云文档 2023-09-03

如何配置HiveSQL类型作业_EMR on ECS_开源大数据平台 E-MapReduce(EMR)

本文介绍如何配置Hive SQL类型的作业。

阿里云文档 2023-08-15

MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用有什么区别

本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。

阿里云文档 2022-09-07

Dataphin即席sql报错Couldnotinitializeclassorg.apache.hadoop.hive.common.type.HiveDate

问题描述Dataphin 即席sql报错Could not initialize class org.apache.hadoop.hive.common.type.HiveDate。问题原因插入数据后,查询表报错,表结构有date字段,输入类型有问题。解决方案把表字段改成string类型,然后重新插...

阿里云文档 2022-07-20

问题描述Quick BI新建hive数据源后将简单SQL放到数据集中运行报错io.grpc.StatusRuntimeException: INTERNAL: java.sql.SQLException: org.apache.spark.sql.catalyst.parser.ParseExcep...

文章 2020-02-24 来自:开发者社区

浅析Hive/Spark SQL读文件时的输入任务划分

作者:王道远,花名健身,阿里云EMR技术专家,Apache Spark活跃贡献者,主要关注大数据计算优化相关工作。 Hive以及Spark SQL等大数据计算引擎为我们操作存储在HDFS上结构化数据提供了易于上手的SQL接口,大大降低了ETL等操作的门槛,也因此在实际生产中有着广泛的应用。SQL是非过程化语言,我们写SQL的时候并不能控制具体的执行过程,它们依赖执行引擎决定。而Hive和Spa.....

浅析Hive/Spark SQL读文件时的输入任务划分
文章 2017-11-16 来自:开发者社区

Hive mapreduce SQL实现原理——SQL最终分解为MR任务,而group by在MR里和单词统计MR没有区别了

转自:http://blog.csdn.net/sn_zzy/article/details/43446027 SQL转化为MapReduce的过程 了解了MapReduce实现SQL基本操作之后,我们来看看Hive是如何将SQL转化为MapReduce任务的,整个编译过程分为六个阶段: Antlr定义SQL的语法规则,完成SQL词法,语法解析,将SQL转化为抽象语法树AST Tree 遍历A.....

文章 2017-11-14 来自:开发者社区

揭秘FaceBook Puma演变及发展——FaceBook公司的实时数据分析平台是建立在Hadoop 和Hive的基础之上,这个根能立稳吗?hive又是sql的Map reduce任务拆分,底层还是依赖hbase和hdfs存储

在12月2日下午的“大数据技术与应用”分论坛的第一场演讲中,来自全球知名互联网公司——FaceBook公司的软件工程师、研发经理邵铮就带来了一颗重磅炸弹,他将为我们讲解FaceBook公司的实时数据处理分析平台的核心——Puma的演进以及未来的发展思路。   FaceBook公司自成立以来发展就非常迅猛,时至今日,每天都有数以万计的人活跃在FaceBook之上,这一庞大的用户群体吸引了大量的企业....

揭秘FaceBook Puma演变及发展——FaceBook公司的实时数据分析平台是建立在Hadoop 和Hive的基础之上,这个根能立稳吗?hive又是sql的Map reduce任务拆分,底层还是依赖hbase和hdfs存储

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据库

分享数据库前沿,解构实战干货,推动数据库技术变革

+关注