新增Topic时对应的分区数量额度 - 消息队列Kafka版

每新增1个Topic,会相应地增加16个 分区 数量额度。 在默认 分区 数量额度的基础上,每增购1个Topic ...

创建分区表hash子分区数量疑问

如下语句能创建 分区表: CREATE TABLE range_hash_example (    range_column_key   DATE,    hash_column_key  ...
来自: 开发者社区 > 论坛 作者: 伤痕李磊 浏览:169 回复:2

Spark算子:统计RDD分区中的元素及数量

问题导读: 1.spark算子 分区怎么理解? 2.怎么用代码去查找分区及 分区中的数据? Spark RDD是被分区的,在生成RDD时候,一般可以指定分区的 数量,如果不指定 分区 数量,当RDD从集合创建时候,则默认为该程序所分配到的资源的CPU核数,如果是从 ...
来自: 开发者社区 > 论坛 作者: 吓苝苝 浏览:272 回复:0
推荐

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

') as pt from tmp_1 ; 即使用动态分区,把gmt格式化作为分区字段,大约产生的分区是1800多个,tmp_1 这个表的记录数量在>5000w。目前这个语句运行了20来分钟了,一直没有运行完成,是有什么问题吗?

动态分区,把gmt格式化作为 分区字段,大约产生的分区是1800多个,tmp_1 这个表的记录 数量在>5000w。目前这个语句运行了20来分钟了,一直没有运行完成,是有什么问题吗? ...
来自: 开发者社区 > 问答 作者: 琴瑟 浏览:320 回复:1

分区表记录占用块数量分析

创建一张 分区表: create table range_part_range(id number, deal_date date, contents varchar2(1000)) partition by range(deal_date ...
来自: 开发者社区 > 论坛 作者: fish0824 浏览:177 回复:3

ONS(RocketMQ)为什么能够比Kafka支持更多的分区数量?

分区 数量在Kafka中有什么作用?Producer(消息发送者)的往消息Server的写入并发数与 分区数成正比。Consumer(消息消费者)消费某个Topic的并行度与 分区数保持一致,假设 分区数是20,那么Consumer的 ...
来自: 开发者社区 > 博客 作者: xiaoqb 浏览:3808 回复:0

SparkSQL自适应执行 - E-MapReduce

阿里云E-MapReduce-3.13.0版本的 SparkSQL支持自适应执行功能,用来解决Reduce个数的动态调整、数据倾斜和执行 ...

SparkSQL(Spark-1.4.0)实战系列(三)——SparkSQL应用案例

日期 ZYSL00014630,ZY,2009-5-7StockDetail.txt格式如下://订单号,行号,货品, 数量,价格,金额 HMJSL00006421,9,QY524266010101,1,80,80案例实战-查询 ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1597 回复:0

sparkSQL1.1入门之三:sparkSQL组件之解析(sqlContext的关键的概念和组件)

的SQL语句进行扫描、去空、去注释、校验、分词等动作。SQL语法表达式query,其作用定义SQL语法表达式,同时也定义了SQL语法表达式的具体实现,即将不同的表达式生成不同 sparkSQL的Unresolved LogicalPlan。函数phrase ...
来自: 开发者社区 > 论坛 作者: ztxclxzt 浏览:162 回复:3

sparkSQL1.1入门之一:为什么sparkSQL

问题导读 1. sparkSQL是如何发展而来的? 2.为什么 sparkSQL的性能会得到怎么大的提升呢? 3.查询里采用通用的SQL语法去处理,会先生成一个表达式树,在物理处理这个表达式树的时候,包含那几个步骤? 3.png (48.69 KB, 下载 ...
来自: 开发者社区 > 论坛 作者: 小狐狸cc 浏览:339 回复:1

sparkSQL1.1入门之二:sparkSQL运行架构

问题导读 1.SQL语句在实际的运行过程中是怎么处理的呢? 2. sparkSQL的有哪两个分支? 3.什么是Spark Tree和Rule? 1.png (36.99 KB, 下载次数: 3) 下载附件  保存到相册 2015-3-24 15 ...
来自: 开发者社区 > 论坛 作者: heshengck1 浏览:232 回复:4

sparkSQL1.1入门之四:深入了解sparkSQL运行计划

sparkSQL的API,也可以参看源代码中的方法和函数。 3:不同数据源的运行计划       上面常用操作里介绍了源自RDD的数据,我们都知道, sparkSQL可以源自多个数据源:jsonFile、parquetFile ...
来自: 开发者社区 > 论坛 作者: 我就爱墨迹 浏览:199 回复:3

请问:spark 处理 hive 仓库数据,用sparksql 好?还是hivesql好?sparksql 操作hive 的分区分桶表麻烦吗?

请问:spark 处理 hive 仓库数据,用 sparksql 好?还是hivesql好? sparksql 操作hive 的分区分桶表麻烦吗? ...
来自: 开发者社区 > 问答 作者: hbase小能手 浏览:6 回复:1

节点/数据库/表/分区/二级分区 - HybridDB for MySQL

打散到多个节点上,这样可以利用分布式的特性来进行并行计算,极大地提升性能。 表 在HybridDB for MySQL中,表是一个逻辑概念。用户创建的表会根据 分区key拆分到不同的分库中,每个分表就是通常我们所说的表的 ...

在RANGE分区表中指定多个分区键 - PolarDB-O 云原生数据库

您可以通过给RANGE 分区表指定多个关键列来提高性能。 如果您经常在小的列集上使用比较运算符(基于大于 ...

消息队列Kafka版实例中重新创建已经删除过的Topic时系统提示“分区数不能小于曾经配置过的分区数”

问题描述消息队列Kafka版实例中,重新创建已经删除过的Topic并且 分区数小于上次创建时设置的 分区数,系统提示以下信息。创建topic成功, 分区数不能小于曾经配置过的 分区数,已重置为XX。问题原因历史版本的消息队列Kafka版实例在删除 ...
来自: 帮助

通用方案:专有云环境OTS集群Chunk数量过高的处理方法

。immutable file文件处理方法将以下压缩包上传至PortalAgServer#服务角色所在的机器/home/admin目录中并解压。ots_immfi.zip登录PortalAgServer#服务角色所在的机器,执行以下命令,找出 分区中文件 数量 ...
来自: 帮助

调整代理数量 - 云数据库 RDS

RDS独享代理可以根据监控数据和业务规划方便快捷地调整代理 数量 ...

应急预案:专有云环境OTS集群Chunk数量过高的处理方法

1. 概述本文主要介绍在专有云环境,OTS集群Chunk 数量过高的处理方法。1.1. 适用范围专有云V2企业版,OTS专有云V3企业版,OTS1.2. 用户告知适用平台:x86、ARM授权级别:L2(二线技术支持工程师)临时或固化 ...
来自: 帮助

如何增加高防IP的域名防护数量

概述本文主要描述如何增加高防IP的域名防护 数量。详细信息当添加防护网站时,提示高防IP的转发规则条数超出限制,如下图所示。登录 云盾控制台,单击 DDos高防 在 实例列表 中单击 升级。在 配置变更 页面中,增加 防护域名数。适用于DDoS高防IP ...
来自: 帮助

一个企业建群有数量上限吗?

概述本文介绍一个企业创建群 数量限制。详细信息目前系统对创建群的个数和加入群的个数都没有做限制, 但是部门群/全员群是由管理员手动创建,一个企业只能有一个全员群,一个部门只能有一个部门群。适用于专属钉钉 ...
来自: 帮助

考勤打卡有没有人数/考勤组数量限制?

概述考勤打卡的人数/考勤组 数量限制说明。详细信息一个公司最多可以添加10000个考勤组,每个考勤组最多500人,一个考勤组最多可以设置1000个WIFI跟500个地址。适用于专属钉钉 ...
来自: 帮助

调整云盘实例的分片数量 - 云数据库 Redis

Redis的云盘实例基于云数据库Redis的新一代管控架构,支持自由调整分片节点的 数量(最少3个,最多32个),可更好地应对读写热点和 ...

短信告警提示离线消息存储数量超过系统限制

问题描述在使用微消息队列MQTT版时,短信告警提示离线消息存储 数量超过系统限制。问题原因微消息队列MQTT版对于每个实例中存储的离线消息 数量是有限制的。具体的限制值,请参见使用限制中的相关说明。如果客户端订阅关系设置不当,产生大量离线消息,超过 ...
来自: 帮助

企业邮箱发送数量和频率的限制 - 企业邮箱

xxxxx, c01a1xxxxx]: too frequently sending原因分析:该发件人的发信频率或 数量超过阿里云邮箱限制。为了全局邮箱用户的正常、安全使用,阿里云企业邮箱对发件人所发邮件有一定的频率与 数量上的限制,包括每分钟、每小时、每日,若 ...

查询快照数量和容量 - 云服务器 ECS

DescribeSnapshotsUsage API查询您在一个地域下的快照 数量以及快照容量。 背景信息 ...

如何计算实例数量 - 数据库备份 DBS

数据库备份DBS提供全量备份、增量备份和数据恢复能力,首先用户需要购买并创建备份计划,才可以备份数据库。本文介绍如何计算DBS实例(即备份计划) 数量。如何计算实例 数量1个备份计划支持1个数据库实例的备份,用户可以设置备份整个实例、多个库、单库、多张表 ...

通用方案:专有云V3环境OTS集群Chunk数量过高的处理方法

Chunk 数量。immutable处理方法将以下压缩包上传至PortalAgServer#服务角色所在的机器/home/admin目录中并解压。ots_immfi.7z登录PortalAgServer#服务角色所在的机器,执行以下命令,找出 分区中超过 ...
来自: 帮助

怎么样才能在 PG11的二级分区表上 使用 分区并行聚合功能? 我测试一遍,如果表只有一级分区可以使用分区聚合,如果表有二级分区的话,就不可以,大家有没有成功使用的方法?

怎么样才能在 PG11的二级 分区表上 使用 分区并行聚合功能?我测试一遍,如果表只有一级 分区可以使用 分区聚合,如果表有二级 分区的话,就不可以,大家有没有成功使用的方法?本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。 ...
来自: 开发者社区 > 问答 作者: 小白dora 浏览:9 回复:1

如何添加外部联系人,外部联系人可添加数量上限是多少?

概述本文介绍在手机端和电脑端添加外部联系人途径以及外部联系人添加 数量上限。详细信息每个员工都可以在手机和电脑都可以添加外部联系人:1、手机钉钉:【通讯录】-【外部联系人】-右上角【添加】,可扫名片添加、单个添加或批量添加;若开启【保存到手机 ...
来自: 帮助

钉钉可以添加好友的数量是多少?

概述本文介绍钉钉添加好友的 数量限制情况。详细信息目前添加钉钉好友总 数量没有限制,每天添加好友的个数有上限,未实名认证的每天是10个,已实名认证的每天是50个。适用于专属钉钉 ...
来自: 帮助

全员群数量上限是多少,达到上限后如何扩容?

概述本文介绍聊天群群聊成员 数量上限以及扩容方法。详细信息普通全员群 数量上限是1000人。企业认证后,全员群人数上限自动升级为3千人,若企业月均钉钉指数950分以上更可免费扩容至1万人。全员群扩容:若需要付费扩容人数到4000人,则收费4000 ...
来自: 帮助

SparkSQL在有赞的实践

前言 有赞数据平台从2017年上半年开始,逐步使用 SparkSQL 替代 Hive 执行离线任务,目前 SparkSQL 每天的运行作业数量5000个,占离线作业数目的55%,消耗的 cpu 资源占集群总资源的50%左右。本文介绍由 SparkSQL 替换 Hive 过程中碰到的问题以及处理经验...

HIVE优化浅谈

作者:邓力,entobit技术总监,八年大数据从业经历,由一代HADOOP入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。 引言 随着商务/运营同学执行的HQL越来越多,整体HIVE执行效率变低,本文从HIVE切入,分析...

HIVE优化浅谈

HIVE优化浅谈 作者:邓力,entobit技术总监,八年大数据从业经历,由一代HADOOP入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。 引言 随着商务/运营同学执行的HQL越来越多,整体HIVE执行效率变低,本文从H...

自适应查询执行AQE:在运行时加速SparkSQL

一、自适应查询执行AQE简介 关于自适应查询执行,在数据库领域早有充分研究。在Spark社区,最早在Spark 1.6版本就已经提出发展自适应执行(Adaptive Query Execution,下文简称AQE);到了Spark 2.x时代,Intel大数据团队进行了相应的原型开发和实践;到了S...

Delta Lake在Soul的应用实践

作者:张宏博,Soul大数据工程师一、背景介绍(一)业务场景传统离线数仓模式下,日志入库前首要阶段便是ETL,Soul的埋点日志数据量庞大且需动态分区入库,在按day分区的基础上,每天的动态分区1200+,分区数据量大小不均,数万条到数十亿条不等。下图为我们之前的ETL过程,埋点日志输入Kafka...

Spark中的RDD、DataFrame、Dataset对比

https://blog.csdn.net/yu0_zhang0/article/details/80489739RDD和DataFrameRDD-DataFrame 上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以Person为类型参数,但Spark框架本身不...

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework

EMR团队探索并开发了SparkSQL Native Codegen框架,为SparkSQL换了引擎,新引擎带来最高4倍性能提升,为EMR再次获取世界第一立下汗马功劳。来自阿里云EMR团队的周克勇将详细介绍Native Codegen框架。本文整理自视频 https://developer.ali...

大数据全体系年终总结

  到年底了,想着总结下所有知识点好了~今年应用的知识点还是很多的~    Hadoop生态圈:   1、文件存储当然是选择Hadoop的分布式文件系统HDFS,当然因为硬件的告诉发展,已经出现了内存分布式系统Tachyon,不论是Hadoop的MapReduce,Spark的内存计算、hive的...

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

2019阿里云峰会·上海开发者大会于7月24日盛大开幕,在本次峰会的开源大数据专场上,阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅...

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

2019阿里云峰会·上海开发者大会于7月24日盛大开幕,在本次峰会的开源大数据专场上,阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅...
< 1 2 3 4 ... 885 >
共有885页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折