阿里云搜索结果产品模块_X-Pack Spark

PyODPS读取分区表数据 - MaxCompute

PyODPS 读取 分区 数据。 前提条件 您需要完成以下操作 ...

请问:spark 处理 hive 仓库数据,用sparksql 好?还是hivesql好?sparksql 操作hive 的分区分桶表麻烦吗?

请问:spark 处理 hive 仓库数据,用 sparksql 好?还是hivesql好? sparksql 操作 hive 的分区分桶 麻烦吗? ...
来自: 开发者社区 > 问答 作者: hbase小能手 浏览:6 回复:1

sparksql读取 parquet文件时候,进行表关联查询,可以像rdb那样使用索引进行部分文件读取么

sparksql 读取 parquet文件时候,进行 关联查询,可以像rdb那样使用索引进行部分文件 读取么 ...
来自: 开发者社区 > 问答 作者: hbase小能手 浏览:7 回复:1
推荐

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

Hive/Impala 作业读取 SparkSQL 导入的 Parquet 表报错

Hive/Impala 作业 读取 SparkSQL 导入的 Parquet 表报错( 包含 Decimal 格式的列):Failed with exception java.io.IOException:org.apache.parquet.io ...
来自: 开发者社区 > 问答 作者: 曹龙 浏览:11 回复:1

浅谈Oracle分区表之范围分区

null在oracle 10g世界里面, 分区 主要分range,hash,list,range-hash,range-list五种类型,在oracle 11g中,则发展到了3*3的 分区组合类型,以满足更多的应用场景!但无论在什么情况下, 范围分区都是最常见 ...
来自: 开发者社区 > 博客 作者: 第三方那块 浏览:7 回复:0

[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子

null[Spark][ Hive][Python][SQL]Spark 读取 Hive 的小例子$ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx$ hive hive&gt ...
来自: 开发者社区 > 博客 作者: 嗯哼9925 浏览:8 回复:0

emr里读取odps表如何附带读取分区列

求助 目前odpsOps.readTable函数读取的数据是不带有 分区列的,怎样才能连同 分区列一起 读取呀? ...
来自: 开发者社区 > 论坛 作者: 蛙趣 浏览:1557 回复:0

hive 表 分区可以分几级?有分区个数限制吗?

可以用 分区做指标查询吗?                           ...
来自: 开发者社区 > 论坛 作者: annatuoli 浏览:144 回复:2

为什么我装的oracle版本只支持范围分区表?

我装的oracle版本是10.2.0.1.0,我想做hash 分区 ,为什么我的版本只支持 范围 分区 呢?oracle从哪个版本才能支持hash 分区 呢? oracle, 版本, 分区 , hash ...
来自: 开发者社区 > 论坛 作者: echozone 浏览:195 回复:7

hive中简单介绍分区表

所介绍内容基本上是翻译官方文档,比较肤浅,如有错误,请指正! hive中创建 分区 没有什么复杂的 分区类型( 范围分区、列表分区、hash分区、混合 分区等)。 分区列也不是 中的一个实际的字段,而是一个或者多个伪列。意思是说在 的数据文件中实际上并不保存 分区列 ...
来自: 开发者社区 > 论坛 作者: 毫毫122 浏览:260 回复:7

spark 1.3.0 将dataframe数据写入Hive分区表

问题导读 1.将DataFrame数据如何写入到 Hive 中? 2.通过那个API实现创建spark临时 ? 3.如何将DataFrame数据写入 hive指定数据表的 分区中? 从spark1.2 到spark1.3,spark SQL中的 ...
来自: 开发者社区 > 论坛 作者: ARIA北京 浏览:411 回复:7

Hive中分区表及陷阱

;执行sql文件bin/ hive -f /opt/datas/emp_partition.sql 分区陷阱创建 分区 create table dept_partition(deptno int,dname ...
来自: 开发者社区 > 博客 作者: 突突修 浏览:26 回复:0

在RANGE分区表中指定多个分区键 - PolarDB-O 云原生数据库

或小于值)来选择记录,那么可以考虑在RANGE 分区规则中使用这些列。 在 范围 分区 中指定多个键 在 分区键中, 范围 分区 定义也许包括多个列。要给一个 范围 ...

节点/数据库/表/分区/二级分区 - HybridDB for MySQL

打散到多个节点上,这样可以利用分布式的特性来进行并行计算,极大地提升性能。 在HybridDB for MySQL中, 是一个逻辑概念。用户创建的 会根据 分区key拆分到不同的分库中,每个分 就是通常我们所说的 的 ...

急,求高手!!hive在向整合hbase的分区表插入数据时报错:Must specify table

hadoop版本:hadoop-2.7.12.7.1 hbase版本:hbase-1.1.21.1.2 hive版本:apache- hive-2.0.0-bin 在整合了 hive和hbase之后,我在 hive中创建了一张关联了hbase 分区 ,然后在 ...
来自: 开发者社区 > 论坛 作者: 柴火的宝贝儿 浏览:140 回复:5

云服务器 ECS Linux 如何使用 kpartx 命令读取分区表信息?

云服务器 ECS Linux 如何使用 kpartx 命令 读取 分区 信息? ...
来自: 开发者社区 > 问答 作者: 行者武松 浏览:12 回复:1

hive分区表如何通过sqoop导出数据到mysql

有一个 hive的三级 分区 ,现在想把它导出到mysql,怎么做呢? 比如: hive有colm1,colm2两个字段,有A,B,C三个 分区 mysql有colm1_msq,colm2_msq,a_msq,b_msq,c_msq五个字段分别和 hive 的数据列和 分区一一对应。 因为分区的值是有很多个,所以不能在sqoop的opt文件里配置多个 请大神们指点,谢谢!! ...
来自: 开发者社区 > 论坛 作者: free_ha 浏览:364 回复:1

hive建立分区表使用oss上的数据

打算用日志服务把云主机上的日志投递到oss,然后在EMR上使用 hive,建一张 分区 使用oss上的数据,请问 hive的分区是(year bigint, month bigint, day bigint), 请问1、oss上的文件目录结构,我看 ...
来自: 开发者社区 > 问答 作者: zyuu2 浏览:521 回复:0

关于HIVE外部分区表的问题

单纯指定根目录让 Hive自动加载根目录下的 分区目录,而不是每加一个 分区就手动去alter table……add partition来指定 分区目录,有没有办法实现?求大神指导啊 ...
来自: 开发者社区 > 论坛 作者: 是我越来越 浏览:112 回复:2

hive表结构修改,添加分区字段

RT,现在有一张 TABLE_A,两个字段,A_1,A_B,两个分区,par_a,par_b. 两种情况: 1. 现在想不影响现有 数据的情况下,添加 分区par_c,到原 ,不加载任何数据值。怎么做? 2. 如果添加 分区时候,要指定一个默认值进行填充,该怎么做? 另外,如果第一种情况 分区已经添加,给 分区填充默认值,怎么做? 知道 的朋友麻烦不要拷贝连接,针对问题回答一下,谢谢 ...
来自: 开发者社区 > 论坛 作者: 小远如何缅怀 浏览:458 回复:2

hive表结构修改,添加分区字段

RT,现在有一张 TABLE_A,两个字段,A_1,A_B,两个分区,par_a,par_b. 两种情况: 1. 现在想不影响现有 数据的情况下,添加 分区par_c,到原 ,不加载任何数据值。怎么做? 2. 如果添加 分区时候,要指定一个默认值进行填充,该怎么做? 另外,如果第一种情况 分区已经添加,给 分区填充默认值,怎么做? 知道 的朋友麻烦不要拷贝连接,针对问题回答一下,谢谢 ...
来自: 开发者社区 > 论坛 作者: 小远如何缅怀 浏览:458 回复:2

hive分区表实践

null&& & HIVE组织成“ 分区”,这是一种根据“ 分区列”的值对 进行粗略划分的机制,使用 分区可以加快数据分片的查询速度。& & & 分区 ...
来自: 开发者社区 > 博客 作者: 科技小能手 浏览:20 回复:0

求助 hive 分区表导出

我这边有一张 hive A 中有10个 分区 我想把整个A 导出到本地 然后把数据导入到其他机器上的 hive B B 就是A 只是名字不同 能按 分区导入吗   ...
来自: 开发者社区 > 论坛 作者: 微淘外贸原单控 浏览:113 回复:3

咨询个问题,hive on tez,insert overwrite table select * from A union all select * from B。插入分区表是会自动创建子目录 1、2、3如何解决?

咨询个问题, hive on tez,insert overwrite table select * from A union all select * from B。插入 分区 是会自动创建子目录 1、2、3如何解决? ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:10 回复:1

hive如何获取shell当天日期,并创建分区表

hive如何获取当天日期,并创建 分区 ...
来自: 开发者社区 > 论坛 作者: 秋水 浏览:262 回复:1

hive修改 表/分区语句

问题导读: 本文包含了基本操作: 1.如何添加、删除 分区? 2.如何修改 分区操作? 3.如何添加、修改列? 添加 分区 ALTER TABLE table_name ADD PARTITION (partCol = 'value1' ...
来自: 开发者社区 > 论坛 作者: 范范之辈f 浏览:144 回复:0

创建Redis表并读取数据 - 云原生数据湖分析 DLA

4 20 bond 2 20 james 1 10 JSON 读取dla_person_json 数据:select * from dla_person_json ...

Python读取MaxCompute表无法获取UDF信息

问题描述Python 读取MaxCompute 无法获取UDF信息,并提示以下错误。FAILED:ODPS-0130071:[1,8] Semantic analysis exception - failed to get Udf info form ...
来自: 帮助

创建MySQL表并读取数据 - 云原生数据湖分析 DLA

本文介绍如何在DLA中创建MySQL 读取数据。 登录DLA控制 ...

引用分区表和索引 - 云数据库 OceanBase

操作,例如,仅在一个 分区或子 分区上删除其中的所有行。没有扩展名称时,此类操作将要求您使用判断语句定义 范围(WHERE 子句)。对于 范围 分区 和列表 分区 ,尝试用判断语句描述分区级操作可能会很麻烦,尤其是当 范围 分区键使用多个列时。对于哈希分区和子分区,使用 ...

怎么样才能在 PG11的二级分区表上 使用 分区并行聚合功能? 我测试一遍,如果表只有一级分区可以使用分区聚合,如果表有二级分区的话,就不可以,大家有没有成功使用的方法?

怎么样才能在 PG11的二级 分区 上 使用 分区并行聚合功能?我测试一遍,如果 只有一级 分区可以使用 分区聚合,如果 有二级 分区的话,就不可以,大家有没有成功使用的方法?本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。 ...
来自: 开发者社区 > 问答 作者: 小白dora 浏览:9 回复:1

如何使用表分区? - 云原生数仓 AnalyticDB PostgreSQL

数据库中的事实 以及一些比较大的 ,建议您使用 分区。使用 分区功能,方便您定期进行数据删除(通过 alter table drop patition 命令可删除整个分区的数据)和导入(使用交换分区的方式,即 ...

为什么建表必须有分区键? - HybridDB for MySQL

HybridDB for MySQL 目前仅支持 分区 ,用户可以指定一个 分区键,HybridDB for MySQL 会根据该 分区键为用户自动分布数据,如果没有 分区键,HybridDB for MySQL 无法决定数据按何种方式分布最优。 ...

请大家帮忙看看 怎么样才能在 PG11的二级分区表上 使用 分区并行聚合功能? 我测试一遍,如果表只有一级分区可以使用分区聚合,如果表有二级分区的话,就不可以,大家有没有成功使用的方法?

怎么样才能在 PG11的二级 分区 上 使用 分区并行聚合功能?我测试一遍,如果 只有一级 分区可以使用 分区聚合,如果 有二级 分区的话,就不可以,大家有没有成功使用的方法?本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。 ...
来自: 开发者社区 > 问答 作者: 小白dora 浏览:11 回复:0

表分区定义 - 云原生数仓 AnalyticDB PostgreSQL

。 支持的 分区类型 范围(RANGE) 分区:基于一个数值型 范围划分数据,例如按着日期区间定义 ...

在LIST或RANGE 分区表中处理偏离值 - PolarDB-O 云原生数据库

。 定义 MAXVALUE 分区 分区或子 分区MAXVALUE会捕获那些不适用于在 范围 分区或子 分区 中的任何其他分区的记录。如果您 ...

创建分区表 - 云原生数据湖分析 DLA

通常在关系型数据库中为提高查询性能,会对大数据量的 进行分区。同样,在DLA中您也可以使用 分区 对OSS、Tablestore中的数据进行细化处理,缩短查询响应时间。本文档以OSS数据为例 ...

分区表视图 - PolarDB-O 云原生数据库

PolarDB-O提供五个系统目录视图,您可以使用这五个系统目录视图来查看 分区 的具体信息 ...

Spark入门介绍

前言 Spark自从2014年1.2版本发布以来,已成为大数据计算的通用组件。网上介绍Spark的资源也非常多,但是不利于用户快速入门,所以本文主要通从用户的角度来介绍Spark,让用户能快速的认识Spark,知道Spark是什么、能做什么、怎么去做。具体的概念可以参考spark社区的相关文章 S...
来自: 开发者社区 >博客

从数砖开源 Delta Lake 说起

作者:郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,先后专注在安全,存储和计算领域。之前在 Intel,目前转战阿里云上,致力于提供更好用更有弹性的 Hadoop/Spark 大数据平台。 Spar...
来自: 开发者社区 >博客

从数砖开源 Delta Lake 说起

作者:郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,先后专注在安全,存储和计算领域。之前在 Intel,目前转战阿里云上,致力于提供更好用更有弹性的 Hadoop/Spark 大数据平台。 Spark...
来自: 开发者社区 >博客

实时 OLAP 系统 Druid

作者:陶克路,花名敌珐,阿里巴巴技术专家。Apache Pulsar 等开源软件 Contributor。技术领域包括大数据和云原生技术栈,目前致力于构建大数据领域业界领先的 APM 产品。 0. Overview 后面将写几篇文章介绍一下 OLAP 的大数据系统架构。这里的 Druid 不是阿...
来自: 开发者社区 >博客

实时 OLAP 系统 Druid

作者:陶克路,花名敌珐,阿里巴巴技术专家。Apache Pulsar 等开源软件 Contributor。技术领域包括大数据和云原生技术栈,目前致力于构建大数据领域业界领先的 APM 产品。 0. Overview 后面将写几篇文章介绍一下 OLAP 的大数据系统架构。这里的 Druid 不是阿...
来自: 开发者社区 >博客

数据科学工具包(万余字介绍几百种工具,经典收藏版!)

本文简介:数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种,几十个大类,部分网址。为数据科学教育和知识分享,提高数据科学人员素质。 数据科学融合了多门学科并且建立在这些学科的理论和技术之上,包括数学、概率...
来自: 开发者社区 >博客
< 1 2 3 4 ... 2332 >
共有2332页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

2021阿里云采购季 采购季云服务器会场 采购季数据库会场 采购季存储会场 采购季云网络会场 采购季云通信会场 采购季中小企业应用会场 采购季大数据会场 采购季人工智能会场 CDN与视频云分会场 采购季物联网分会场 采购季安全分会场
阿里云搜索结果产品模块_X-Pack Spark