阿里云文档 2024-09-06

如何使用AnalyticDB MySQL湖仓版Spark访问Hive数据

云原生数据仓库 AnalyticDB MySQL 版Spark支持通过Thrift协议和JDBC协议访问Hive数据。您也可以对Hive数据源启用Kerberos认证,确保只有经过Kerberos认证的客户端能够访问集群、正常提交作业,以此保证数据安全性。本文以E-MapReduce集群的Hive服务为例,介绍访问Hive数据源的方法。

文章 2024-06-12 来自:开发者社区

使用Spark高效将数据从Hive写入Redis (功能最全)

使用Spark高效将数据从Hive写入Redis(功能最全) 在大数据时代,不同存储和处理系统之间高效地传输数据至关重要。Apache Spark作为一款强大的分布式计算框架,能够实现各种数据源和目的地之间的无缝集成。在本篇博文中,我们将探讨如何利用Spark从Hive读取数据并高效地写入Redis,这是一种流行的内存数据存储。 问题介绍 在实际场景中,经常需要将存储在H...

文章 2024-05-26 来自:开发者社区

使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常(字段错位)

@[toc] 源数据描述 在 MySQL 中建立了表 order_info ,其字段信息如下所示: +--------------------+------------------+------+-----+-------------------+-----------------------------+...

阿里云文档 2023-07-13

在EMR Hive或Spark中访问OSS-HDFS

EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群,支持OSS-HDFS(JindoFS服务)作为数据存储,提供缓存加速服务和Ranger鉴权功能,使得在Hive或Spark等大数据ETL场景将获得更好的性能和HDFS平迁能力。本文为您介绍E-MapReduce(简称EMR)Hive或Spark如何操作OSS-HDFS。

阿里云文档 2022-12-13

如何通过在CDP集群中部署JindoSDK4.5.0访问OSS-HDFS服务相关操作

本文介绍如何通过在CDP集群中部署JindoSDK(4.5.0),访问OSS-HDFS服务相关操作。

阿里云文档 2022-08-30

EMRHive或Spark如何操作OSS-HDFS

EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群,支持OSS-HDFS(JindoFS服务)作为数据存储,提供缓存加速服务和Ranger鉴权功能,使得在Hive或Spark等大数据ETL场景将获得更好的性能和HDFS平迁能力。本文为您介绍E-MapReduce(简称EMR)Hive或Spark如何操作OSS-HDFS。

问答 2022-02-15 来自:开发者社区

请问一下 spark 可以直接读取hbase 数据嘛? 不通过 hive中间层

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。点击链接欢迎加入感兴趣的技术领域群。

阿里云文档 2022-01-27

提交Spark任务报错UnabletoinstantiateSparkSessionwithHivesupportbecauseHiveclassesarenotfound.

问题描述Dataphin中提交Spark任务报错“Unable to instantiate SparkSession with Hive support because Hive classes are not found.”是什么原因?问题原因用户使用的计算引擎是hadoop集群,任务执行机器信...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐