CDH在云上利用文件存储HDFS实现存储计算分离

阿里云文件存储HDFS服务是阿里云专门针对先进的存储计算分离架构下的大数据分析场景定制推出的文件存储服务。文件存储HDFS采用全自研的底层架构,有效规避了开源HDFS系统的诸多短板,并提供标准的HDFS访问协议,用户无需对现有大数据分析应用做任何修改,即 ...
来自: 云栖社区 > 博客 作者: luoming0439 浏览:163 回复:0

计算架构师必读6——云计算设计模式:命令和查询职责分离(CQRS)模式

模式:命令和查询职责分离(CQRS)模式 http://www.aboutyun.com/thread-10145-1-1.html 云计算架构师必读7——事件获取模式 http://www.aboutyun.com/thread ...
来自: 云栖社区 > 论坛 作者: 格格宝宝贝 浏览:295 回复:0

面向海量数据的极致成本优化-云HBase的一体化冷热分离

,冷区还是冷热都查。具体的使用方式可以参考HBase增强版帮助文档中的冷存储和冷热分离章节 一体化的冷热分离方案完全避免了分库方案的种种弊端。 分库方案 云HBase增强版冷热分离一体化 运维复杂 需要运维冷热两个库,并可能为异构数据库 ...
来自: 云栖社区 > 博客 作者: 正研 浏览:372 回复:0

4月9日JindoFS系列直播【存储计算分离场景的计算适应优化】

本次分享会介绍云上大数据处理的存储计算分离特征,分析传统大数据处理中数据本地化与存储计算分离场景的区别,以及在存储计算分离场景中阿里云EMR的相关优化。 主题: 存储计算分离场景的计算适应优化 时间: 2020.4.9(周四)19:00 参与方式: 扫描 ...
来自: 云栖社区 > 博客 作者: 雷飙 浏览:80 回复:0

干货 | 如何优雅的通过Key与Value分离降低写放大难题?

查询每个 key 的最新 version。这个内存 hash table 的大小由 segment 的大小决定,可以通过细分 segment 的办法来限制 hash table 的大小,以避免内存占用过。 第二是冷热分离。在每次 GC 某一个 ...
来自: 云栖社区 > 博客 作者: 1760861456352085 浏览:41 回复:0

让你真正认识云计算:云计算核心技术剖析

问题导读: 1.你对云计算的理解是什么? 2.云计算有什么特点? 3.云计算是如何发展而来的? 4.云计算有哪五大类支持,不再是空中楼阁? 5.从技术角度来讲,saas,paas,iaas他们之间的关系是什么? 1.jpg (38.5 KB, 下载次数 ...
来自: 云栖社区 > 论坛 作者: jeffmk 浏览:492 回复:0

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

在数据上云的大背景下,存储计算分离逐渐成为了大数据处理的一大趋势,计算引擎需要通过网络读写远端的数据,很多情况下 IO 成为了整个计算任务的瓶颈,因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法,并将介绍 ...
来自: 云栖社区 > 博客 作者: 雷飙 浏览:57 回复:0

JindoFS概述:云原生的大数据计算存储分离方案

。 JindoFS概述:云原生的大数据计算存储分离方案 JindoFS 之前 在 JindoFS 之前,云上客户主要使用 HDFS 和 OSS/S3 作为大数据存储。HDFS 是 Hadoop 原生的存储系统,10 年来,HDFS 已经成为大数据生态 ...
来自: 云栖社区 > 博客 作者: 曹龙 浏览:8191 回复:0

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

在数据上云的大背景下,存储计算分离逐渐成为了大数据处理的一大趋势,计算引擎需要通过网络读写远端的数据,很多情况下 IO 成为了整个计算任务的瓶颈,因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法,并将介绍 ...
来自: 云栖社区 > 博客 作者: 曹龙 浏览:115 回复:0

Spark技术解析及其在百最大单集群1300台的应用实践2

KB, 下载次数: 0) 下载附件  保存到相册 2015-1-21 21:18 上传 分离了shuffle和Map/Reduce 在2012年开始,Baidu Shuffle开启独立发展阶段,主要源于下一代离线计算系统的开发,Shuffle被抽离 ...
来自: 云栖社区 > 论坛 作者: sallyxu 浏览:257 回复:2

60条云计算术语以及大数据技术、云技术相关术语及解释

(Community cloud)   社区云是指一些由有着类似需求并打算共享基础设施的组织共同创立的云,社区云的目的是实现云计算的一些优势。由于共同费用的用户数比公有云少,这种选择往往比公有云贵,但隐私安、全性和政策遵从都比公有云高。   10. 云际云(The ...
来自: 云栖社区 > 论坛 作者: fengfengy 浏览:228 回复:3

PostgreSQL 11 并行计算算法,参数,强制并行设置

标签 PostgreSQL , 并行计算 背景 PostgreSQL 并行计算原理、应用参考: 《PostgreSQL 多场景 沙箱实验》 优化器并行计算的并行计算方法 1、总worker进程数 postgres=# show ...
来自: 云栖社区 > 博客 作者: 德哥 浏览:35 回复:0

基于HBase构建千亿级文本数据相似计算与快速去重系统

前言 随着大数据时代的到来,数据信息在给我们生活带来便利的同时,同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似计算与快速去重系统的 ...
来自: 云栖社区 > 博客 作者: hope+ 浏览:52 回复:0

计算的漏洞和风险

扩充或缩减。 可量的服务:资源/服务的使用率随时进行测算,支持资源使用率优化、使用率用户报告以及用多少收多少的商业模式。 特定于云计算的漏洞 我们可以说一个漏洞是特定于云的,条件是其: 对于某个核心云计算技术来说是不可分割的或是广泛存在的, 根本诱因是 ...
来自: 云栖社区 > 论坛 作者: 猪Lulu 浏览:246 回复:0

浅谈分布式计算的开发与实现(一)

能以水平拆分的方式,分布到5台机器上,每台机器只计算自身的1/5数据,这样即能在3小时内完成产品需求了。 如上所述,小明需要把这些数据按照一定维进行划分。 按需求来看以用户ID划分最好,由于用户之间没有状态上的关联,所以也不需要事务性及二次迭代计算。 小 ...
来自: 云栖社区 > 博客 作者: java填坑路 浏览:77 回复:0

你必须知道的云计算知识(上)

技术是虚拟化技术,例如Xen、KVM、VMWare、HyperV等; 云虚拟机的体系结构:全面解耦的计算存储分离!如下图所示: 具体包含以下几个要点:(1)核心的CPU与内部部分同属一台宿主机; (2)网络、硬盘等其他部分可脱离于宿主机之外; (3)在 ...
来自: 云栖社区 > 博客 作者: edison_zhou 浏览:43 回复:0

G7在实时计算Flink的探索与实践

,CTBox盒子,油感设备,温度探头等,将车辆数据上报到后端平台,在后端平台计算和处理,最后展示到用户面前。 G7的业务场景是典型的IoT场景: 1.传感器数据 2.数据种类多 3.数据质量差 4.数据低延迟 5.数据量大 其中,数据质量差的原因是整个链条 ...
来自: 云栖社区 > 博客 作者: 李博bluemind 浏览:94 回复:0

请问老师,怎样实现存储和计算分离

请问老师,怎样实现存储和计算分离? ...
来自: 云栖社区 > 问答 作者: 健东 浏览:8 回复:1

Fp关联规则算法计算置信及MapReduce实现思路

问题导读 1.本文使用FP关联规则算法计算置信基于下面的思路是什么? 2.该如何实现MapReduce计算置信? 20141119145207851.jpg (256.16 KB, 下载次数: 1) 下载附件  保存到相册 2014-12 ...
来自: 云栖社区 > 论坛 作者: 苏涓生 浏览:320 回复:1

请问老师,怎样实现存储和计算分离?谢谢

请问老师,怎样实现存储和计算分离?谢谢 ...
来自: 云栖社区 > 问答 作者: hbase小助手 浏览:9 回复:0
< 1 2 3 4 5 7 >
共有1329页 跳转至:GO
对搜索结果不满意?试试论坛 高级搜索>