数据中台之结构化大数据存储设计

,需要掌握大数据、分布式技术及复杂环境下定位问题的能力,仍然具备很高的技术门槛。数据系统的核心组件包含数据管道、分布式存储和分布式计算,数据系统架构的搭建会是使用这些组件的组合拼装。每个组件各司其职,组件与组件之间进行上下游的数据交换,而不同模块的选择和组合 ...
来自: 云栖社区 > 博客 作者: 木洛 浏览:1842 回复:1

结构化数据存储,如何设计才能满足需求?

很高的技术门槛。 数据系统的核心组件包含数据管道、分布式存储和分布式计算,数据系统架构的搭建会是使用这些组件的组合拼装。每个组件各司其职,组件与组件之间进行上下游的数据交换,而不同模块的选择和组合是架构师面临的最大的挑战。 本篇文章主要面向数据系统的研发 ...
来自: 云栖社区 > 博客 作者: 技术小能手 浏览:662 回复:0

基于MongoDB改进RDBMS存储大量非结构化数据

大量“非结构化数据”。 假设系统采用的是关系型数据库,简单的设计,“固定资产明细表”表设计如下:   可以考虑将每个id对应的item的所有参数与规格信息作为一个大文本存储在 ...
来自: 云栖社区 > 论坛 作者: 呪文张宜人 浏览:158 回复:0

浅议DAS、NAS、SAN三种存储架构

; NAS是将目光集中在应用、用户和文件以及它们共享的数据上。SAN是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是NAS加SAN。 怎样制定完善的企业网络存储备份方案 企业的运作需要大量数据的 ...
来自: 云栖社区 > 论坛 作者: 很多烦恼啊 浏览:261 回复:0

数据工具大全--大数据开源处理工具汇总(100工具)

那样分库拆表,在应用代码层进行大量的改动。 二、CouchDB是面向文档的数据库,存储半结构化的数据,比较类似lucene的index结构,特别适合存储文档,因此很适合CMS,电话本,地址本等应用,在这些应用场合,文档数据库要比关系数据库更加方便,性能更好 ...
来自: 云栖社区 > 论坛 作者: 爱慕 浏览:651 回复:9

存储基础设施管理 —— IBM Total Storage Productivity Center (TPC)

。Productivity Center存储中控台是最早根据SNIA标准设计的存储管理软件,包括三个部分:TPC for Fabric实现存储域网络的管理;TPC for Disk和TPC for Replication实现对于不同的存储设备的配置管理、性能监控和数据复制管理 ...
来自: 云栖社区 > 论坛 作者: nancyyuchen 浏览:180 回复:7

EMC Symmetrix企业智能存储系统 介绍

信息集中到企业核心数据中心,从而使企业在保留应用计算分布式好处的同时实现信息存储、管理集中化。 广泛的连接性 Symmetrix企业智能存储系统可以同时连接当今商业企业的主要计算环境,包括异构主机平台、网络、文件服务器、网络服务器和管理平台。 高层次信息 ...
来自: 云栖社区 > 论坛 作者: alex66323768 浏览:375 回复:0

关于sqlserver2016的列存储索引的增强

http://www.infoq.com/cn/articles/SQL-Server-ColumnStore现如今的大数据处理方案需要在比以往更短的时间内应对越来越大的数据量。MS SQL 2012版本首次引入了列存储(CS)索引技术,这也是SQL ...
来自: 云栖社区 > 论坛 作者: minami25 浏览:335 回复:0

facebook海量图片存储系统与淘宝TFS系统比较

配置"。当我们纠结于仅仅有图片ID不够时,可以给ID简单的动动手脚,比如ID是long类型,8个byte,左边给点byte用于存储逻辑卷ID,剩下的用于存储真实的图片ID(某些场景下还可以多截几段给更多的元数据),于是既避免了保存大量的映射数据,又 ...
来自: 云栖社区 > 论坛 作者: 安静的小维维 浏览:386 回复:0

请教:关于大量数据存储,使用blob还是clob?

数据量很大,哪个更好一些? 操作包括写放,读出,定位(在LOB中定位) 修改,不知可否修改LOB中一部分,而不用整个字段都重写一次 谢谢 我用VB 数据的内容多是数值形,可能有小数。 数据, 存储, blob, 操作, 定位 ...
来自: 云栖社区 > 论坛 作者: 安稳度日 浏览:219 回复:3

金融大数据架构概述与应用

型的、记录型的。 社交媒体、移动、云服务不断发展,比较有代表性的就是微信和银行。微信不仅是提交一个数据存储,而是它有很多关系的产生,人和人之间、数据和人之间、人和系统之间、系统和系统之间都产生大量数据,这些数据存储、管理、后台的支撑、经常性的变化,它 ...
来自: 云栖社区 > 论坛 作者: 微妙和微波 浏览:171 回复:0

存储空间管理

相同,索引中的数据存储在索引段中。 3.临时段 当用户执行排序等操作时,将产生大量的临时数据。 临时数据将首先存储在PGA的排序区中,如果排序区的大小不足以存放这些临时数据时,将使用临时段。 一般情况下,用户在执行以下操作时可能用到临时段: SELECT ...
来自: 云栖社区 > 论坛 作者: sophia菲 浏览:294 回复:0

数据对统计思维的影响

则是一切可以记录和存储、源源不断扩充、超大容量的各种类型的数据。样本数据与大数据的这种区别,具有什么样的统计学意义? 我们知道,样本数据是按照特定研究目的、依据抽样方案获得的格式化的数据,不仅数据量有限,而且如果过程偏离方案,数据就不能满足要求。基于样本 ...
来自: 云栖社区 > 论坛 作者: 薇儿九纹龙 浏览:335 回复:1

数据时代的结构化存储—HBase在阿里的应用实践

支撑等全方位提供一站式大数据基础存储服务。 HBase在阿里的使用 Ali-HBase作为阿里巴巴大厦的基础存储设施,全面服务于淘宝、天猫、蚂蚁金服、菜鸟、阿里云、高德、优酷等各个领域,满足业务对于大数据分布式存储的基本需求。 在刚刚过去的2016年双11 ...
来自: 云栖社区 > 论坛 作者: cxyharry 浏览:373 回复:2

从混合云存储看阿里云对下一代企业计算架构的思考

连接千万用户的智能音箱、智能语音助手等产生的语音数据更是爆发性增长。更为重要的是一个深层神经元网络的参数就可能达亿计、芯片计算量可达百亿次/秒,AI并行并发计算的特性要求大量数据交换和移动,提出了计算存储一体化或统一化的挑战。 而基因计算、容器计算等海量小 ...
来自: 云栖社区 > 博客 作者: 阿川925 浏览:68 回复:0

云原生存储的思考 (一)什么是云原生存储

已经实现了在控制平面/控制平面接口对阿里云产品存储的全品类支持,在数据平面也完成了大部分系统级和客户端层的优化。但随着大量的持久化企业应用和智能化应用的容器化迁移,我们依然面临着更多的问题和挑战,将会在下一篇文章探讨。  ...
来自: 云栖社区 > 博客 作者: 1614943191442567 浏览:199 回复:0

药品监管系统架构揭秘:海量溯源数据存储与查询

生产药品过程中的状态、运输过程的轨迹、医院药店存储和使用数据等。 图3 常见状态数据 药品流通会产生大量的状态数据,这些数据需要持续的记录下来,后续才可以做到真正的药品溯源。我们先来罗列一下药品状态数据: 药企的状态数据:这里主要指药品依赖的原材料溯源 ...
来自: 云栖社区 > 博客 作者: chen1255 浏览:497 回复:0

海量结构化数据存储技术揭秘:Tablestore存储和索引引擎详解

,Filter模式在过滤大量数据时效率不高,甚至变成全表扫描。通常来说,数据查询的效率与底层扫描的数据量正相关,而底层扫描的数据量取决于数据分布和结构。数据默认仅按照主键有序存储,那么要按照某一属性列查询,符合条件的数据必然分布于全表的范围内,需要扫描后筛选。全 ...
来自: 云栖社区 > 博客 作者: 亦征 浏览:224 回复:0

BigData NoSQL —— ApsaraDB HBase数据存储与分析平台概览

介绍各层,力求简单通俗,文中有大量的链接以衍生阅读。 二、业务视角及数据流 作为一个存储计算平台,价值在满足不同的业务需求。见下图:此图描述了数据的来源、通道到沉淀到云HBase平台,再通过平台提供的Spark引擎去挖掘价值反馈给业务系统。此类似一个 ...
来自: 云栖社区 > 博客 作者: 明朔 浏览:437 回复:0

[转载]数据仓库白皮书-概念篇

一并取出而存入了工商银行。这便是通过联机事务处理系统而获得市场优势的案例。其次,当时单位容量的联机存储介质比现在昂贵得多,相对于市场竞争的压力,将大量的历史业务数据长时间联机保存去用于分析显然是过于奢侈了。因此,联机事务处理系统只涉及当前数据,系统积累下的 ...
来自: 云栖社区 > 论坛 作者: 淡然若水 浏览:259 回复:0
< 1 2 3 4 5 7 >
共有2952页 跳转至:GO
对搜索结果不满意?试试论坛 高级搜索>