推荐 :数据科学研究现状与趋势

;整齐化处理:将数据转换为数据算法和数据技术能够直接处理形态。 3.6 服务质量——精准度还是用户体验 查全率和查准率是传统数据研究中评价服务质量两个核心指标。但是,当总体为未知、数据迅速增长、数据种类不断变化和数据处理 ...
来自: 开发者社区 > 博客 作者: 技术小能手 浏览:149 回复:0

从0到N建立高性价比数据平台

追求性价比,也可以用去年开源Greenplum。GP其实在数据行业里面还挺有名,去年年底实现开源免费使用。GP是在上百亿数据量级里面,唯一一个MPP架构且开源数据存储平台,它处理效率和DB2、Oracle一点不落后。在展示方面,随着业务增加 ...
来自: 开发者社区 > 论坛 作者: 517mike 浏览:374 回复:3

处理数据超10亿:友信金服基于Flink构建实时用户画像系统实践

。目前该系统支持日处理数据超 10 亿,接入上百种合规数据源。 一、技术选型 传统基于 Hadoop 生态离线数据存储计算方案已在业界大规模应用,但受制于离线计算高时延性,越来越多数据应用场景已从离线转为实时。这里引用一张表格对目前主流实时计算框架 ...
来自: 开发者社区 > 博客 作者: 巴蜀真人 浏览:145 回复:0

数据工具大全--数据开源处理工具汇总(100工具)

和用户接口(Hue Beeswax),这就很方便为用户提供了一个相似并且统一平台来进行批量或实时查询。 Cloudera Impala 是用来进行数据查询补充工具。 Impala 并没有取代像Hive这样基于MapReduce分布式处理框架 ...
来自: 开发者社区 > 论坛 作者: 爱慕 浏览:651 回复:9

数据批处理及流处理框架汇总及对比

问题导读: 1、数据处理框架是什么? 2、如何理解批处理系统? 3、各框架系统优势与局限有哪些? 4、各框架流处理系统、批处理模式有哪些特性? 2016-11-22_101959.jpg (9.13 KB, 下载次数: 2) 下载附件   ...
来自: 开发者社区 > 论坛 作者: 一个ABC 浏览:359 回复:3

数据对统计思维影响

。 ( 八) 需要统计技术与云计算技术融合 尽管用于收集和分析数据统计技术已相对成熟、自成体系,但其所能处理数据是有限,面对不可同日而语数据、特别是其中大量非结构化数据,恐怕单凭一己之力是难以胜任,只能望“数”兴叹 ...
来自: 开发者社区 > 论坛 作者: 薇儿九纹龙 浏览:335 回复:1

数据实时处理:百分点实时计算架构和算法

降低数据精度方法我们可以称之为模糊化,它是用资源换效率一种方法。在对数据精确性不是特别敏感领域,这种方法可以大大降低系统资源使用、提高系统处理效率。利用模糊化实时算法快速得到近似结果,而后用离线算法慢慢修正结果精确度,是百分点在数据处理中 ...
来自: 开发者社区 > 论坛 作者: 漂钟乐安移 浏览:522 回复:8

第三章 声明数据

数据类型 允许编程具 有非常 灵活性,所 以提供了强 有力工具 。它们范 围从基本类 型(例如, 给定长度 字符串)到 非常复杂 结构(例如 ,嵌套表) 。 将用户定义 数据类型 分配给数据 对象使您能 精确处理需 要数据对 象。可以按 ...
来自: 开发者社区 > 论坛 作者: 刘先生的悲剧 浏览:224 回复:0

金融数据架构概述与应用

时候用了很多成熟技术,有很多创新在里面,过去很多年我们还在这个硬盘上生活着,我们现在构造大多数数据都在这硬盘上面,随着数据越来越它有一个限制,只有一个读头,这个读头每秒钟最多能处理100个读或者是写,这是它基本限制,由于数据增加限制越来越多 ...
来自: 开发者社区 > 论坛 作者: 微妙和微波 浏览:171 回复:0

基于数据分析安全管理平台技术研究及应用

意义和观点人才和组织。” Gartner将数据定义为“海量、高速、多变信息资产,需要对它进行经济、创新性信息处理从而获得超越以往洞察力、决策支持能力和处理自动化”(high volume, velocity ...
来自: 开发者社区 > 论坛 作者: 威好好 浏览:327 回复:0

面试笔试问题:数据,海量数据 处理方法总结

此篇先介绍了几个概念,后面面试题为对数量各种处理及解决办法: 海量日志数据,提取出某日访问百度次数最多那个IP。 搜索引擎会通过日志文件把用户每次检索使用所有检索串都记录下来,每个查询串长度为1-255字节? 有一个1G大小一个文件,里面每 ...
来自: 开发者社区 > 论坛 作者: lilyliu83 浏览:385 回复:0

结构化数据分析平台设计

直观例子,可能我们在TB级别做一次全处理需要20分钟,是不是到了百PB级别,处理时间也翻了好几个数量级从而导致每天分析结果不能及时产生,从而让数据平台价值打折扣,限制了业务飞速发展。 3. 大规模低成本    很多数据平台 ...
来自: 开发者社区 > 博客 作者: 宇珩 浏览:167 回复:0

来自数据反思:需要你读懂10个小故事

英文描述Volume体、Variety模态多、Velocity速度快及Value价值。前三个V本质上是为第四个V服务。试想一下如果数据里没有我们希望得到价值我们为何还辛辛苦苦这么折腾前3个V 英特尔中国研究院院长吴甘沙先生说“鉴于 ...
来自: 开发者社区 > 论坛 作者: 红指甲绿裙子 浏览:292 回复:2

timesten应用场合数据不能太,那么,处理四百万条记录,可以吗?

TT数据库,应用场合数据不能太; 那么,处理400万记录,每个记录大概15个字段左右,没有lob类型字段; 对这些记录进行复杂逻辑操作,timesten可以胜任吗? timesten, 应用, 数据, 记录, 数据库 云栖社区小编整理 TT数据库 ...
来自: 开发者社区 > 论坛 作者: lilacyanliu 浏览:180 回复:0

构建高并发高可用电商平台架构实践

erlanng语言开发;kafka是Linkedin于2010年12月份开源消息发布订阅系统,它主要用于处理活跃流式数据,数据数据处理上。 对消息一致性要求比较高场合需要有应答确认机制,包括生产消息和消费消息过程;不过因网络等原理导致应答 ...
来自: 开发者社区 > 论坛 作者: vanessa727 浏览:357 回复:9

盘点数据分析十二大杀手锏

看到,技术升级带来已知架构之间界限变得更加模糊。更为重要是,开始逐步出现了处理半结构化和非结构化信息NoSQL等平台。 数据分析迎来时代   本文中,我们将向大家介绍迄今为止,包括EMCGreenplum、Hadoop和MapReduce等 ...
来自: 开发者社区 > 论坛 作者: spartak 浏览:193 回复:1

为什么Flink会成为下一代数据处理框架标准?

本文将告诉你Flink是什么,以及为什么Flink会成为下一代数据处理框架标准。 导读:本文将告诉你Flink是什么,以及为什么Flink会成为下一代数据处理框架标准。 01 什么是Flink? 在当前数据激增传统时代,不同业务场景都有大量 ...
来自: 开发者社区 > 博客 作者: 1168562833233928 浏览:323 回复:0

数据行业里误区

; 先从概念上来说,数据是什么?其实数据处理从人类诞生时期就有了,古人结绳记事就是基本统计,统计自己吃了几顿饭打了几次猎等等;再往近说,皇帝每晚翻嫔妃牌子也是数据处理,在翻牌子之前,要从一堆牌子里分析“方便&rdquo ...
来自: 开发者社区 > 论坛 作者: 沛县生活网 浏览:11607 回复:5
< 1 2 3 4 5 7 >
共有11034页 跳转至:GO
对搜索结果不满意?试试论坛 高级搜索>