数据中台之结构化数据存储设计

,需要掌握数据、分布式技术及复杂环境下定位问题的能力,仍然具备很高的技术门槛。数据系统的核心组件包含数据管道、分布式存储和分布式计算,数据系统架构的搭建会是使用这些组件的组合拼装。每个组件各司其职,组件与组件之间进行上下游的数据交换,而不同模块的选择和组合 ...
来自: 云栖社区 > 博客 作者: 木洛 浏览:1842 回复:1

结构化数据分析平台设计

持久的存储并且做一些实时或者离线的分析,辅助我们的业务做决策,提供业务大盘和报表,很多公司会构建自己的数据分析平台。也就是时下『数据』平台的由来。这类平台主要解决以下几个问题: 1. 丰富的数据源支持和数据格式延迟绑定 丰富的数据源是因为这样一个数据分析 ...
来自: 云栖社区 > 博客 作者: 宇珩 浏览:167 回复:0

基于云计算的数据平台基础设施建设实践

可以做的,因为这些信息是可以拿到的。三、数据基础平台接下来我们看看有哪些数据平台以及它们的特点,从数据的生命周期来说分采集,传输,存储,分析计算以及展现几个阶段,上面这张图描述了这几个阶段现在比较流行的工具和平台。首先讲讲计算,如 Spark ...
来自: 云栖社区 > 论坛 作者: 接受我可以 浏览:230 回复:0

从0到N建立高性价比的数据平台

追求性价比,也可以用去年开源的Greenplum。GP其实在数据行业里面还挺有名的,去年年底实现开源免费使用。GP是在上百亿数据量级里面,唯一一个MPP架构且开源的数据存储平台,它的处理效率和DB2、Oracle一点不落后。在展示方面,随着业务量的增加 ...
来自: 云栖社区 > 论坛 作者: 517mike 浏览:374 回复:3

基于数据分析的安全管理平台技术研究及应用

问题导读 1.何为数据? 2.数据的安全分析是什么? 3.有哪些基于数据安全分析的管理平台? 110.jpg (90.43 KB, 下载次数: 0) 下载附件  保存到相册 2015-6-3 13:46 上传     ...
来自: 云栖社区 > 论坛 作者: 威好好 浏览:327 回复:0

经典数据架构案例:酷狗音乐的数据平台重构

放大图像) 117.png (53.04 KB, 下载次数: 5) 下载附件  保存到相册 2016-2-25 17:08 上传 数据平台数据存储模型分为:数据缓冲层Data Cache Layer(DCL)、数据明细层Data Detail ...
来自: 云栖社区 > 论坛 作者: Nicole娃娃 浏览:319 回复:5

结构化数据存储,如何设计才能满足需求?

组件和技术架构日趋成熟。特别是随着云的发展,让『数据』技术的使用门槛进一步降低,越来越多的业务创新会由数据来驱动完成。 『数据』技术会逐步向轻量化和智能化方向发展,最终也会成为一个研发工程师的必备技能之一,而这个过程必须是由云计算技术来驱动以及在云平台 ...
来自: 云栖社区 > 博客 作者: 技术小能手 浏览:662 回复:0

AI加持的阿里云飞天数据平台技术揭秘

好的东西给谁呢?给数据的消费者,我们的数据分散在各个地方,所有的东西都会在治理的交互层对数据的消费者提供服务,这样我们就在一个新的角度来诠释飞天数据平台。除了引擎存储以外,我们有全域的数据集成进行拉动,统一的调度可以在不同的引擎之间来切换协同工作,同时 ...
来自: 云栖社区 > 博客 作者: 晋恒 浏览:3822 回复:0

数据工具大全--数据开源处理工具汇总(100工具)

简介:Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速,交互式的SQL查询。除了使用相同的存储平台外, Impala和Apache Hive一样也使用了相同的元数据,SQL语法(Hive SQL),ODBC驱动 ...
来自: 云栖社区 > 论坛 作者: 爱慕 浏览:651 回复:9

BigData NoSQL —— ApsaraDB HBase数据存储与分析平台概览

数据,包括采集、存储和计算的量都非常;Variety:种类和来源多样化,包括结构化、半结构化和非结构化数据;Value:数据价值密度相对较低,或者说是浪里淘沙却又弥足珍贵;Velocity:数据增长速度快,处理速度也快,时效性要求高 ...
来自: 云栖社区 > 博客 作者: 明朔 浏览:437 回复:0

【IT名人堂】专访百分点研发总监:不止于平台数据操作系统重磅来袭!

文件系统之间没有依赖关系。在资源管理方面,数据平台下面每一个子系统都是单独管理自己的任务,管理自己的资源,这个数据平台后面,对资源与存储、作业管理没有统一的体系,从用户视角来看,可以直接用数据平台所提供的各种各样的服务或者是技术,实现交互。比如说某些厂商 ...
来自: 云栖社区 > 论坛 作者: asdqwe 浏览:237 回复:9

BigData NoSQL:ApsaraDB HBase数据存储与分析平台概览

产品是直接在Cassandra之上集成了Spark,另外ScyllaDB公司首页的宣传语就是The Real-Time Big Data Database。 数据的5V特性,包括 Volume:数据,包括采集、存储和计算的量都非常; Variety ...
来自: 云栖社区 > 博客 作者: 1760861456352085 浏览:50 回复:0

如何有效降低数据平台安全风险

在2019杭州云栖大会数据企业级服务专场,由阿里云智能计算平台事业部资深技术专家李雪峰带来以“如何有效降低数据平台安全风险”为题的演讲。本文首先概括了企业在数据上云过程中会产生的安全顾虑。接着,在数据平台中要处理的安全风险 ...
来自: 云栖社区 > 博客 作者: 晋恒 浏览:5222 回复:0

推荐 :数据科学研究的现状与趋势

“知识范式”的新研究范式——“数据范式”。“数据范式”的广为应用成为现代科学研究的一个重要转变。另一方面, 数据带来的挑战在于数据的获得、存储、计算不再是瓶颈或难题 ...
来自: 云栖社区 > 博客 作者: 技术小能手 浏览:149 回复:0

数据实践】日交易笔百万级Ping++的数据平台架构解析

记录会存储到数据库中,包括时间、金额、渠道等信息。当前日交易笔数为百万级,目前已经积累了海量交易数据。如何在经过客户授权的情况下利用数据为客户赋能,并带来额外附加价值,从而提高客户黏性,Ping++亟需搭建可靠、稳定的数据平台。在Ping++搭建数据平 ...
来自: 云栖社区 > 论坛 作者: 云栖搬砖工 浏览:1981 回复:0

构建高并发高可用的电商平台架构实践

,因此需要定时的进行commit操作。 平台中对数据的索引和存储操作是异步的,可以大大提高可用性和吞吐量;只对某些属性字段做索引操作,存储数据的标识key,减少索引的大小;数据存储在分布式存储HBase 中的,HBase对二级索引搜索支持的不好,然而可以 ...
来自: 云栖社区 > 论坛 作者: vanessa727 浏览:357 回复:9

周鸿祎:以数据技术对抗数据平台安全威胁

问题导读 1.数据时代网络安全的有哪些威胁? 2.如何以数据技术对抗数据平台安全威胁? 1月,中国大陆境内所有通用顶级域(.com/.net/.org等)解析出现问题,所有相关域名均被指向一个位于美国的IP地址(65.49.2.178),导致数千万 ...
来自: 云栖社区 > 论坛 作者: 月光糖果 浏览:237 回复:0

盘点数据分析的十二大杀手锏

Analytic Database(PADB)的开发厂商提供快速、选择性查询和列存储数据库,并基于大规模并行处理优势特点的产品。该公式表示,其平台支持一系列针对各种复杂、先进应用的工作负载报告和分析。 ParAccel数据解决方案   内置的分析算法可以为分析师提供 ...
来自: 云栖社区 > 论坛 作者: spartak 浏览:193 回复:1

招联金融研发总监姜良雷做客选型宝 亲身讲述数据平台选型历程

”作为第一重要的事情考虑。其他需求在该准则前必须让步,hadoop的稳定性和数据安全保障与招联的需求有一定的差距,在Hadoop平台上要做好这个安全保证,需要很的投入,是创业初期的我们无法承受的。 殷勇: 对于数据平台的选型,您认为应该重点考察 ...
来自: 云栖社区 > 博客 作者: 1171209296521767 浏览:60 回复:0

物流行业如何拥抱数据

戴定一认为,智慧物流是物流的发展目标,而数据能够支撑智慧物流的发展,物流行业和企业要利用好数据,才能够真正从变革中受益。  戴定一表示,首先要做好整合,这是数据的关键。“整合一定要建立在有价值的服务之上。很多数据整合或者叫第三方云平台能否 ...
来自: 云栖社区 > 论坛 作者: 艾德拉 浏览:332 回复:0
< 1 2 3 4 5 7 >
共有4455页 跳转至:GO
对搜索结果不满意?试试论坛 高级搜索>