文章 2025-03-13 来自:开发者社区

Dataphin功能Tips系列(48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列

一、场景 客户A需要对生产和开发环境的Hive SQL/Spark SQL根据任务优先级指定YARN资源队列,提高任务执行效率和资源利用率,在Dataphin上如何实现? 二、解决方案及功能 Dataphin支持根据任务优先级指定YARN资源队列 ①【计算源-队列信息配置】配置资源队列,具体可以联系Hadoop的运维团队或者是从yarn-site.xml中获取资源...

Dataphin功能Tips系列(48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
问答 2024-07-01 来自:开发者社区

在Dataphin中数据集成中,hive输出组件支持动态分区吗?

在Dataphin中数据集成中,hive输出组件支持动态分区吗?

问答 2024-03-13 来自:开发者社区

Dataphin有Hive的数据源配置文档么?

Dataphin有Hive的数据源配置文档么?

问答 2023-11-06 来自:开发者社区

Dataphin dp hive数据源调整jdbc url和keytab之前提交的任务有影响吗?

Dataphin dp hive数据源调整jdbc url和keytab之前提交的任务有影响吗?

问答 2023-07-13 来自:开发者社区

你好,想问下Dataphin如果选择hive作为数仓,每个派生指标计算完是把结果值update到汇?

问题1:你好,想问下Dataphin如果选择hive作为数仓,每个派生指标计算完是把结果值update到汇总表上吗?因为我看好像是每个派生指标都生成一个计算SQL,这样每个指标算完都update上去效率会不会很差,还是说不是一个一个update上去的问题2:哦同一个汇总表上的指标是在同一个SQL上一批算出来的吗?一个SQL的话,不同指标的业务限定、统计周期会不会有冲突,例如近七天的指标要用whe....

阿里云文档 2023-05-01

问题描述Dataphin提交至hive中的任务执行时间过长。具体情况如下:Dataphin日志显示2023-04-23 13:47:02.509 至 2023-04-23 13:51:34.297这4分32秒任务是在hive中执行;查看yarn日志 ,hive执行的时间只有28秒;还有4分4秒耗费在...

阿里云文档 2023-03-31

问题描述Dataphin代码任务报错Caused by: org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: ParseException line 3:28 cannot re...

阿里云文档 2023-02-27

Dataphin如何解决创建Hive自定义数据源时报错连接数据库失败

问题描述本文主要描述了Dataphin自定义组件创建Hive自定义数据源,集成任务执行的时候报错连接数据库失败的解决方法。问题原因数据源的链接地址格式不正确。解决方案正确格式如下:jdbc:hive2://{ip}:{port}/{db}适用于Dataphinv2.9.4.5

问答 2023-02-21 来自:开发者社区

专有云dataphin. 3.14 的hive原生支持哪个版本?

专有云dataphin. 3.14 的hive原生支持哪个版本?

阿里云文档 2023-02-17

FTP同步数据到HIVE报错您尝试读取的列越界

问题描述用户从FTP同步数据到HIVE报错“您尝试读取的列越界,源文件该行有 [1] 列,您尝试读取第 [2] 列”。问题原因文件编码格式错误。解决方案检查文件编码格式,需要保持和选择的格式一样。适用于Dataphin列越界

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。