阿里云文档 2025-01-21

Flink Hive SQL作业快速入门

实时计算Flink版支持使用Hive方言创建批处理作业,通过兼容Hive SQL语法增强与Hive互操作性,便于从现有Hive作业平滑迁移至实时计算管理控制台。

文章 2024-10-14 来自:开发者社区

大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive

点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完) HDFS(已更完) MapReduce(已更完) Hive(已更完) Flume(已更完) Sqoop(已更完) Zookeeper(已更完) HBase(已更完) Redis (已更完) Kafka(已更完) ...

大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
文章 2023-12-20 来自:开发者社区

【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)

需要源码和依赖请点赞关注收藏后评论区留言私信~~~一、Dataframe操作步骤如下1)利用IntelliJ IDEA新建一个maven工程,界面如下2)修改pom.XML添加相关依赖包3)在工程名处点右键,选择Open Module Settings4)配置Scala Sdk,界面如下5)新建文件夹scala,界面如下:6) 将文件夹scala设置成Source Root,界面如下:7) 新建....

【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
阿里云文档 2023-08-15

MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用有什么区别

本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。

文章 2023-05-08 来自:开发者社区

Spark SQL实战(08)-整合Hive

1 整合原理及使用Apache Spark 是一个快速、可扩展的分布式计算引擎,而 Hive 则是一个数据仓库工具,它提供了数据存储和查询功能。在 Spark 中使用 Hive 可以提高数据处理和查询的效率。场景历史原因积累下来的,很多数据原先是采用Hive来进行处理的,现想改用Spark操作数据,须要求Spark能够无缝对接已有的Hive的数据,实现平滑过渡。MetaStoreHive底层的元....

Spark SQL实战(08)-整合Hive
阿里云文档 2022-09-07

Dataphin即席sql报错Couldnotinitializeclassorg.apache.hadoop.hive.common.type.HiveDate

问题描述Dataphin 即席sql报错Could not initialize class org.apache.hadoop.hive.common.type.HiveDate。问题原因插入数据后,查询表报错,表结构有date字段,输入类型有问题。解决方案把表字段改成string类型,然后重新插...

阿里云文档 2022-07-20

问题描述Quick BI新建hive数据源后将简单SQL放到数据集中运行报错io.grpc.StatusRuntimeException: INTERNAL: java.sql.SQLException: org.apache.spark.sql.catalyst.parser.ParseExcep...

文章 2022-06-13 来自:开发者社区

用spark sql执行操作hive

一、安装:(注意版本兼容)hadoop2.7.2,hive1.3,spark1.6二、相关配置:hive配置hive-site.xml把hive-site.xml拷贝至spark的conf目录下并添加:【如果不能运行,这配置去掉重试】<property> <name>hive.metastore.uris</name> <value>thrift:....

文章 2022-06-13 来自:开发者社区

Spark SQL 与Hive集成

一、Spark SQL 与Hive集成(spark-shell)(1)添加配置项目第一步:把Hadoop集群的core-site.xml,hdfs-site.xml和hive的配置文件hive-site.xml拷贝到spark的conf的目录下cp hive-site.xml /opt/Hadoop/spark/conf 第二步:添加hive-site.xml中metastore的url的配置&a...

Spark SQL 与Hive集成
问答 2022-04-15 来自:开发者社区

hadoop HA 集群中使用zeppline的Spark sql访问Hive数据失败

报错信息如下:

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

数据库

分享数据库前沿,解构实战干货,推动数据库技术变革

+关注