openstack入门、建设公有云、私有云、商业模式、云...

数据传输服务DTS中的名词解释哪些 客户案例:龙之召唤 阿里云开发80端口吗≮为爱加油≯哪里订购迷薬91490631.MySQL 5.7 单机基础版支持的地域 剖析云计算平台中的“共享性数据库”3月9日.name域名维护通知 相关...
来自: 阿里云 > 网站

什么服务器_服务是什么_服务器是什么-阿里云

什么时候需要tomcat服务器,什么时候需要自己搭建服务器 目前我一个关于服务器与客户端通信的问题:比如android新闻客户端,它的服务器端可以 阅读全文 架构-为什么要多台apache服务器?作者:用户 65人浏览 2年...
来自: 阿里云 > 网站

开源大数据处理技术-圈子-云栖社区-阿里云

也就是整体来讲,emr+oss比自建使用更少的资源,如果提高emr+oss的并发度,则时间上可能超过ecs自建hadoop集群的。哪些场景不适合 并不是所有的场景都适合使用emapreduce+oss,对于以下场景目前不适合:过多的 小...
来自: 阿里云 > 网站

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

大数据解决方案_大数据技术应用_概念_是什么_...

建设数据仓库,人力省一半 进入控制台 查看详情 数加·E-Mapreduce 云上Hadoop服务,支持Spark 立即使用 查看详情 数加·数据集成 消除数据孤岛,快速集中数据 立即使用 查看详情 数加·流计算 会写SQL的流计算 申请...
来自: 阿里云 > 网站

阿里云-客户案例-东润环能

最重要的是采用阿里云数加,东润环能将所有精力都放在业务上,节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本,“相比自建Hadoop物理集群,使用阿里云数加MaxCompute的总成本较大...
来自: 阿里云 > 网站

PPT素材开发视频预览功能问题|IT大本营-开发者论坛

win7数据库s ubuntunv 饥荒mod过期解 工程建设经验教训 内能的利用单元测 不受德国待见的厄 生产效率提高改善 ssh框架act c#网站开发小问 brutefor 农行简历没法提交 visualfo apache源码 数据库字段唯一性 xpdcom...
来自: 阿里云 > 网站

广告需求方平台DSP解决方案

阿里云资深业务架构师,专注数字营销解决方案及生态建设、大数据相关技术及解决方案咨询,对企业营销系统与云计算的结合丰富的实战经验 阿里云资深业务架构师,负责社交、通信、数字营销行业。具有十年以上技术...
来自: 阿里云 > 网站

香港服务器租用哪家好_香港服务器哪家好_香港云服务器...

快速备案 域名注册 网站建设 帮助中心 whois查询 云资讯 阿里云客服 大数据 域名交易 云服务器ECS 云栖社区APP,舒服~热门活动更多> 阿里云免费套餐 40+款产品 6个月免费体验 查看详情>搭建网站/应用首选 轻量应用...
来自: 阿里云 > 网站

H-主题地图-云栖社区-阿里云

后端服务地址是什么 核验单包括什么 韩国搜索引擎 活动推广方案 好来客 海信集团 核验单网站类型 杭州创业资金 环比和同比的区别 回调url 换空间绑域名 http黑洞 hook获取 hls转码 hbase调优 黄晓明 后端服务地址 ...
来自: 阿里云 > 网站

2016云栖大会-pdf下载

PDF下载 大数据让游戏厂商精准投放有理据 PDF下载 商用虚拟现实内容的突破口 PDF下载 蚂蚁开放平台技术专场 蚂蚁开放技术路线及行业实践 PDF下载 开放技术保障的潘多拉魔盒 PDF下载 蚂蚁聚宝Android秒级编译——...
来自: 阿里云 > 网站

资料下载-云栖社区-阿里云

阿里云高级产品专家 大数据 阿里大规模数据计算与处理平台 林伟 阿里巴巴资深技术专家 Hadoop存储与计算分离实践 木艮 阿里云技术专家 海量数据分布式存储 郑锴 Intel 研发经理 Improvements to Flink&Its ...
来自: 阿里云 > 网站

问答-云栖社区-阿里云

如果是在hadoop上,数据量很大时采用什么引擎实现较好?十分困惑的问题,求解答。From 前BI分析人员 15088人浏览 15人回答 作者:zaizaiz1234 云数据库十大经典案例总结和反思【精品问答集锦】 本期请来了阿里云资深...
来自: 阿里云 > 网站

云栖大会议程_2016杭州大会资料介绍_大会专场内容ppt_...

“互联网+”在未来很多创新机会,蚂蚁金服 “互联网+”智慧交通峰会,将邀请政府机构合作伙伴,从产业现状到趋势、从行业痛点到解决方案等角度, 共同探讨基于实名、信用、大数据等能力的智慧交通服务产业升级解决...
来自: 阿里云 > 网站

IT大本营-开发者论坛

04-14 浏览 92 回复 7 openstack入门、建设公有云、私有云、商业模式、云存储等系列文档.1 2 kirorro 发表于 2017-07-27 最后回复 司徒笔墨 04-14 浏览 280 回复 15 云上运维专题_王为_OpenStack中的高可用与分布式...
来自: 阿里云 > 网站

虚拟机linux系统_linux系统的虚拟机_虚拟机装linux...

快速备案 域名注册 网站建设 帮助中心 whois查询 云资讯 阿里云客服 大数据 域名交易 云服务器ECS 云栖社区APP,舒服~热门活动更多> 阿里云免费套餐 40+款产品 6个月免费体验 查看详情>搭建网站/应用首选 轻量应用...
来自: 阿里云 > 网站

全链路数据处理工具_数据挖掘_大数据-阿里云

为了丰富ODPS的周边生态,降低用户的接入成本,提高实施效率,尤其是弥补传统DW/BI工具的缺陷,基于多年建设内部数据工作平台的经验,我们搭建了一套解决方案,称为采云间(Data Process Center,简称DPC),取...
来自: 阿里云 > 网站

云栖大会公众号-云栖社区-阿里云

本文主要从为什么需要SQL开始谈起,进而.分布式 性能优化 hbase 性能 SQL API 索引 物联网 报表 存储 云Hbase数据库在亿方云实践之路 作者:云迹九州 2452人浏览 2017云栖大会HBase专场,亿方云科技CTO 王成军带来...
来自: 阿里云 > 网站

专有云解决方案_阿里云

容器服务提供高性能可伸缩的容器应用管理服务,支持Docker容器进行应用生命周期管理,提供多种应用发布方式和持续交付能力并支持微服务架构。容器服务简化了容器管理集群的搭建工作,整合了阿里云虚拟化、存储、...
来自: 阿里云 > 网站

聚焦大数据收益 主流Hadoop用户话说

他说:“我们公司完全是数据驱动的公司,我们希望人们主观动机和想法,但是他们需要数据证明他们的想法。Hadoop的高价值应用 零售商Macy公司运行了BI和分析应用,也是基于Hortonworks的Hadoop系统,他们为此支持...
来自: 阿里云 > 网站

什么HADOOP、产生背景、在大数据、云计算中的位置和...

1.HADOOP背景介绍 1.1.1 什么HADOOP 1.HADOOP是apache旗下的一套开源软件平台 2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 3.HADOOP的核心组件 A.HDFS(分布式...
来自: 阿里云 > 网站

Hadoop没有消亡,它是大数据的未来

——迈克尔·法拉第,在 18 世纪被问及新发明的电有什么用的时候。为什么 Hadoop 正在发展壮大 过去两年来,我一直致力于大数据方面的研究,并在这段时间里经历了令人感到震撼的变革,因为我一直在全球各地为银行业...
来自: 阿里云 > 网站

2015年上海hadoop in china见闻

永洪的《敏捷BI最佳实践》我听起来就是现有的hadoop技术来提供快速敏捷的BI分析,从老板才能看数据到每个人都可以看,使用数据。其实阿里目前已经做的很好的。只不过我想说的是,一家独立的公司来给别的公司提供...
来自: 阿里云 > 网站

优酷数据架构师:搭建Hadoop平台三步走

目前傅杰老师主要负责优酷土豆集团大数据基础平台建设,以支撑集团其他业务团队的存储与计算需求,包含Hadoop平台、日志采集系统、实时计算系统、消息系统以及天机镜系统等。据了解,Hadoop平台在优酷的发展,主要...
来自: 阿里云 > 网站

Docker生态不会重蹈Hadoop的覆辙

的文章,作为一个既从事过Hadoop创业,也正在做Docker创业的人,我觉得还是一些发言权,本文中的观点仅代表个人观点,算是抛砖引玉。1.&形态上的差异 2013年的时候,Hadoop确实很火,不过当时的感觉是安装和操作...
来自: 阿里云 > 网站

星环科技孙元浩:Hadoop应用的三个阶段

孙元浩认为,Hadoop在中国的应用可以分为三个阶段:第一阶段是2009-2010年,随着云计算和数据中心的建设,数据趋于集中,Hadoop开始用于数据存储和离线分析。当时运用Hadoop的企业既传统企业也互联网企业,但...
来自: 阿里云 > 网站

Hadoop海量数据处理:技术详解与项目实战》一1.2 ...

下面我们先对Hadoop的核心组件做一个简单的介绍,让读者对Hadoop有个初步的认识。[8](https://yqfile.alicdn.com/5c09cd6e8060f56f948d4428ebd99b1b884e0bd2.png) 1.海量数据的摇篮——HDFS 作为Hadoop分布式文件...
来自: 阿里云 > 网站

Spark VS Hadoop 解读两大大数据分析系统

Spark可以用Hadoop支持的任何存储源创建RDD,包括本地文件系统,或前面所列的其中一种文件系统。Hadoop:分布式文件系统 Hadoop是Apache.org的一个项目,其实是一种软件库和框架,以便使用简单的编程模型,跨计算器...
来自: 阿里云 > 网站

Spark VS Hadoop 两大大数据分析系统深度解读

Spark可以用Hadoop支持的任何存储源创建RDD,包括本地文件系统,或前面所列的其中一种文件系统。Hadoop:分布式文件系统 Hadoop是Apache.org的一个项目,其实是一种软件库和框架,以便使用简单的编程模型,跨计算器...
来自: 阿里云 > 网站

Hadoop没有消亡,它是大数据的未来

级的大规模数据,大数据是唯一可行的技术解决方案 该作者写道:「如果你的企业没有巨量数据的问题,你真的不着 Hadoop,所以数以百计的企业都对他们无用的 2 到 10 TB 的 Hadoop 集群感到非常失望——在这种规模上...
来自: 阿里云 > 网站

Hadoop 如何推动现代数据仓库技术的变革

当然,Hadoop在早年刚开始创建的时候,主要也是作为数据仓库的,所以现在越来越多的行业也开始用Hadoop技术做数据仓库。那么什么是数据仓库?Gartner的解释是:数据仓库不仅是一个单一的数据库,它是一整套的数据管理...
来自: 阿里云 > 网站

Spark VS Hadoop 两大大数据分析系统深度解读

Spark可以用Hadoop支持的任何存储源创建RDD,包括本地文件系统,或前面所列的其中一种文件系统。Hadoop:分布式文件系统 Hadoop是Apache.org的一个项目,其实是一种软件库和框架,以便使用简单的编程模型,跨计算器...
来自: 阿里云 > 网站

Hadoop伪分布配置与基于Eclipse开发环境搭建

为了方便起见,我建设Hadoop的bin目录及sbin目录也加入到环境变量中,我是直接修改了Ubuntu的/etc/environment文件,内容如下: 1 2 3 PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/...
来自: 阿里云 > 网站

Hadoop海量数据处理:技术详解与项目实战(第2版)...

下面我们先对Hadoop的核心组件做一个简单的介绍,让读者对Hadoop有个初步的认识。1.海量数据的摇篮——HDFS 作为Hadoop分布式文件系统,HDFS处于Hadoop生态圈的最下层,存储着所有的数据,支持着Hadoop的所有服务。...
来自: 阿里云 > 网站

基于Hadoop集群的大规模分布式深度学习

前言 在过去的十年里,Yahoo一直持续投资建设和扩展Apache Hadoop集群,到目前为止共有超过4万台服务器和600PB数据分布在19个集群上。正如在2015 Hadoop 峰会上介绍的,我们在自己的服务器上开发了可扩展的机器学习...
来自: 阿里云 > 网站

如何低成本、高效率搭建Hadoop/Spark大数据处理平台

传统大数据平台几个通病:建设周期过长,扩容不便,因此一般都会适当放大大数据建设规模,造成早期资源闲置浪费,也埋下了后期资源不足的隐患,影响业务发展。云计算很早就解决了弹性建设的问题,我们可以按需进行...
来自: 阿里云 > 网站

独家|一文读懂Hadoop(四):YARN

其中心思想是,在Hadoop集群中的可用资源,谁共同出资建设集群的基础上需要计算需求多个组织之间共享。一个组织可以访问不被他人使用任何产能过剩的一个额外的好处。这提供了弹性的组织以具有成本效益的方式。跨...
来自: 阿里云 > 网站

从Greenplum、Hadoop到现在的阿里大数据技术

这个产品从感知态势就可以知道,哪些坏人,哪些恶意的行为在哪里发生,以及他们什么样的服务器,谁是主控,对我们在进行什么样的探索行为,背后的人是谁,他的身份证号码是多少,这些东西,我们都通过感知的基础...
来自: 阿里云 > 网站

企业拥抱大数据,Hadoop 和Spark渐受欢迎

虽然国家政策保驾护航,但摆在产业界面前的难题也不少,想要真正实现商业化,形成良性的产业生态道阻且长。诸如在时下高度受关注的大数据共享和开放方面,产业界还未找到行之有效的方法。中国工程院院士邬贺铨对此...
来自: 阿里云 > 网站

银行大数据:非hadoop的架构证明

随着业务的发展,特别是网银的建设,数据仓库的相关的数据仓库的系统了IBM的产品和Teradata的产品。也走上了数据仓库的建设道路。现在招行的微信银行+网银+数据仓库的架构也是标杆性的项目。具体的数据规模还没拿...
来自: 阿里云 > 网站

WOT2016黄慧攀:海量日志处理可以不用Hadoop或Spark

黄慧攀认为,日志的可挖掘价值确实非常多,比如广告领域可以通过日志回溯到某个具体的用户对什么产品或服务感兴趣,从而驱动给该用户投放什么类型的广告。这也是现在很热门的大数据领域中很重要的一项。而日志对于又...
来自: 阿里云 > 网站

如何设计基于Hadoop、Spark、Storm的大数据风控架构?

为了更好的满足公司日益增长变化的业务,在大数据平台建设中全面拥抱开源的基础上,进行了不停迭代设计,对数据平台中采用的开源软件进行了深度应用开发,同时还开发了很多契合业务需求的工具软件,很好的支撑我们去...
来自: 阿里云 > 网站

Hadoop大数据分析与挖掘实战》——1.1节某知名连锁...

通过以上信息化的建设,T餐饮已经积累了大量的历史数据,没有一种方法可帮助企业从这些数据中洞察商机,提取价值?在同质化的市场竞争中,怎样找到一些市场以前并不存在的“捡漏”和“补缺”?
来自: 阿里云 > 网站

航空公司大数据建设的思考

现在,有这么多维度,有几百个T的数据,帮我看看这些数据里能做出什么有价值的东西来?一开始我只知道个大概的方向,说我要提升用户体验,帮我看看怎么做,具体能做出什么来,然后需要什么算法来做。但开始做大...
来自: 阿里云 > 网站

农行赵维平:农业银行自主可控的大数据平台建设

早期在给主库做备份的时候,100TB的数据小40个小时,后来我们Hadoop做备份,100TB了不到10小时,大家TB备份一直是比较难的事情,在Hadoop方面我们做了大量基础性的工作,非结构化的数据、文件的服务、数据...
来自: 阿里云 > 网站

云HBase助力物联网建设

目前HBase非常满足物联网存储需求,存储数T、数P甚至百P的空间,延迟稳定在数毫秒之内,跟Hadoop分析体系较为深入的结合,满足分析类的需求。具体物理网的大致结构如下: [screenshot]...
来自: 阿里云 > 网站

E-MapReduce助力建设企业级数据仓库

Hadoop技术来临之后,由于其易用性、高度扩展性、低成本的优势,受到了越来越多的公司使用。本文将简单介绍使用[E-MapReduce](https://www.aliyun.com/product/emapreduce)建设数据仓库。建立数据仓库 大致的架构...
来自: 阿里云 > 网站

网站点击流数据分析项目-之现学现卖

是数据分析系统的数据采集,此部分工作由数据分析平台建设团队负责,具体的技术实现很多方式:Shell脚本 优点:轻量级,开发简单 缺点:对日志采集过程中的容错处理不便控制 Java采集程序 优点:可对采集过程...
来自: 阿里云 > 网站

开源大数据周刊-第14期

Hadoop基于jvm,当前很多的框架。比如spark、flink也在off-heap优化执行层,减少GC的开销。国内大数据相关会议 地点 费用 上海 收费[Strata+Hadoop World](http://strata.oreilly.com.cn/hadoop-big-data-cn)...
来自: 阿里云 > 网站

浅谈公安大数据的建设

与此同时,业内也许多其他类型的文件系统推出,不仅能解决了传统存储体系结构存在的难题,又能提高存储利用率和数据读写性能,可以替代HDFS作为Hadoop架构的底层文件系统/数据存储。不同的技术思路各偏重,由于...
来自: 阿里云 > 网站

当前数据仓库建设过程

一个典型的企业数据仓库通常包含数据采集、数据加工和存储、数据展现等几个过程,本篇文章将按照这个顺序记录部门当前建设数据仓库的过程。1.数据采集和存储 采集数据之前,先要定义数据如何存放在 hadoop 以及一些...
来自: 阿里云 > 网站

开源大数据周刊-第20期

1.6.0版本-交互式查询(支持hive、spark)#资讯[对话Hadoop之父Doug Cutting 会议 时间- [2016杭州云栖大会]2016年10月#版权声明 信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。...
来自: 阿里云 > 网站

有关云架构建设和选型的思考

当前的IT世界一个常见的现象,就是只要某一个领域一套成熟的商业软件,就同时也会一套开源的解决方案,如Windows之于Linux,Google的MapReduce、GFS、大表之于Hadoop等。在云领域也存在相应的开源解决方案,...
来自: 阿里云 > 网站

阿里云D1规格族实例公测 存储建设成本降低80%

在面向Hadoop类大数据业务场景建设需求时,D1实例能够给客户带来以下价值:•基于独享型架构提供稳定计算力,保障计算作业的高效处理效率;更高网络性能(单VM 120Wpps 10Gb内网带宽),满足业务高峰期节点间数据交互...
来自: 阿里云 > 网站

创业公司如何做数据分析(六)数据仓库的建设

而且团队主要技术栈是Python,使用Python操作Hadoop本身就会性能损耗。为什么是MySQL?相比Oracle,团队对MySQL更加熟悉,所以笔者更多的考虑是选择MySQL的哪个存储引擎:Infobright vs.myisam vs. innodb。...
来自: 阿里云 > 网站

建设智慧城市,一切以数据说话

一、什么是视频大数据?基于这个问题,我们可以从几个方面来理解。首先,大家都知道,大数据“4V”特征:Volume(数据规模)、Variety(数据类型)、Velocity(处理速度)、Value(数据价值)。一、数据规模,视频数据基本...
来自: 阿里云 > 网站

企业大数据平台仓库架构建设思路【精品问答集锦】

http://yq.aliyun.com/ask/36608 外部用户利用阿里的平台实现大数据应用有什么成功案例吗?http://yq.aliyun.com/ask/36607 如何复制阿里在大数据数仓上的能力?http://yq.aliyun.com/ask/36595 车联网行业关于大...
来自: 阿里云 > 网站

大数据项目为什么失败,2017年将何不同

从那里,IT和数据专业人员对Hadoop作为一个技术工具包可能做什么,以及对产生结果需要多少精力和资源有着不当的期望。Gartner公司的一项调查发现,49%的受访者引用“确定如何从Hadoop获取价值”作为是否采纳的关键...
来自: 阿里云 > 网站

大数据项目为什么失败,2017年将何不同

从那里,IT和数据专业人员对Hadoop作为一个技术工具包可能做什么,以及对产生结果需要多少精力和资源有着不当的期望。Gartner公司的一项调查发现,49%的受访者引用“确定如何从Hadoop获取价值”作为是否采纳的关键...
来自: 阿里云 > 网站

降本、赋能、链接:阿里巴巴全域数据建设 ——云栖...

以优土(优酷土豆的简称)为例,优土去年加入阿里巴巴集团之后,我们开始启动数据融合项目:在此之前,优土自己的Hadoop集群,阿里巴巴的数据规模则大的多,将优土数据融合到阿里大平台上,可以让优土获得更多弹性...
来自: 阿里云 > 网站

大数据时代下的教育管理信息化建设实践与探索

网络中的Syslog日志和网络访问日志将会是一个海量的数据,考虑到日志更新频繁和海量数据的特点,实验环境在Linux服务器上安装并启动的程序Tomcat8,Hadoop2.6.1,Zookeeper3.4.6,HBase0.98.5,Flume1.5。...
来自: 阿里云 > 网站

大数据安全分析的阶段性建设

大数据安全分析能力建设是一个分阶段、逐步提升的过程,对于一些实力的组织可以同时进行多个阶段的建设,但如果想一步到位无疑是不现实的。整个过程最关键的是问题思维:现阶段要解决的问题是什么,深入思考这个...
来自: 阿里云 > 网站

开源大数据周刊-第21期

[为什么HADOOP扩展性优于MPP架构的关系型数据库](http://www.zhihu.com/question/22799482) 从扩展性的角度出发,Hadoop与MPP架构的异同。[Facebook 60TB+级的Apache Spark应用案例](http://t.cn/RczGEql) Hive...
来自: 阿里云 > 网站

省时省事省力 巧阿里ECS D1构建大数据处理平台

而采用阿里云ECS建设大数据平台,可以充分选择D1和其它独享型规格类型,做到为每个Hadoop/Spark组件节点“量体裁衣”来选择实例,最大限度避免资源浪费。此外,传统大数据平台规模和分析能力固定,难以应对临时性...
来自: 阿里云 > 网站

有关云架构建设和选型的思考

3)大型企业 大型企业人数规模在万人以上,特别是高新企业,都一个实力不错的IT支撑部门,通过部门就可以完善对企业内部信息化建设。从企业性质范围来看: 1)传统行业企业 传统行业大多数是以服务业、制造业、...
来自: 阿里云 > 网站

大数据行业图谱之一:底层基础平台公司能做多大?

底层基础平台细分领域里的大数据公司众多,专注Hadoop发行版的星环科技、红象云腾和天云大数据,传统数据库厂商人大金仓和南大通用,研发新型分布式数据库的巨杉数据库,还有唯一来自中国的Apache社区顶级项目...
来自: 阿里云 > 网站

光伏发电运营管理大数据私有云平台建设思路

云平台总体设计按照优先采用开源技术、层次化、模块化、组件化、可配置原则,有效整合生产集控及其他业务应用技术体系,在技术选型上完全满足未来5年IT发展的新要求,对于软硬件新技术良好的支持。云平台通过基础...
来自: 阿里云 > 网站

大数据行业图谱之(1):底层基础平台公司能做多大?

底层基础平台细分领域里的大数据公司众多,专注Hadoop发行版的星环科技、红象云腾和天云大数据,传统数据库厂商人大金仓和南大通用,研发新型分布式数据库的巨杉数据库,还有唯一来自中国的Apache社区顶级项目...
来自: 阿里云 > 网站

大数据行业图谱之(1):底层基础平台公司能做多大?

底层基础平台细分领域里的大数据公司众多,专注Hadoop发行版的星环科技、红象云腾和天云大数据,传统数据库厂商人大金仓和南大通用,研发新型分布式数据库的巨杉数据库,还有唯一来自中国的Apache社区顶级项目...
来自: 阿里云 > 网站

创业公司做数据分析(六)数据仓库的建设

而且团队主要技术栈是Python,使用Python操作Hadoop本身就会性能损耗。为什么是MySQL?相比Oracle,团队对MySQL更加熟悉,所以笔者更多的考虑是选择MySQL的哪个存储引擎:Infobright vs.myisam vs. innodb。...
来自: 阿里云 > 网站

【干货】大数据平台建设实践与探讨

Hadoop2对比Hadoop1,无论在HA、namenode扩展性、权限控制、资源调度及分配、资源隔离等都极大提升。目前我们使用Hadoop 2.6.0作为公司最新集群使用版本,并对已知的重要bug打了patch。相信在很多公司,尤其是创业...
来自: 阿里云 > 网站

5W1H(六何分析法)全景洞察大数据

半自动化运维系统(建设了一部分):帮助运维Hadoop平台,会监控Hadoop系统,出现状况后会报警,且一些场景下会自动修复。专家系统(正在建设):帮助优化Hadoop、spark作业。比如:小文件是否过多,map运行时间...
来自: 阿里云 > 网站

OpenStack建设企业私有云要解决五大问题

再比如大数据分析,通过Sahara可以快速部署Hadoop集群,那又怎么打通OpenStack和Hadoop之间的账户、安全、管理和运维监控体系?c.OpenStack的虚拟机级别的高可用做的还不好。目前并没有官方声明OpenStack支持虚拟机...
来自: 阿里云 > 网站

OpenStack建设企业私有云要解决五大问题

再比如大数据分析,通过Sahara可以快速部署Hadoop集群,那又怎么打通OpenStack和Hadoop之间的账户、安全、管理和运维监控体系?c.OpenStack的虚拟机级别的高可用做的还不好。目前并没有官方声明OpenStack支持虚拟机...
来自: 阿里云 > 网站

OpenStack建设企业私有云要解决五大问题

再比如大数据分析,通过Sahara可以快速部署Hadoop集群,那又怎么打通OpenStack和Hadoop之间的账户、安全、管理和运维监控体系?c.OpenStack的虚拟机级别的高可用做的还不好。目前并没有官方声明OpenStack支持虚拟机...
来自: 阿里云 > 网站

互联网大数据技术与传统行业的融合

Hadoop为首的开源大数据技术三个重要的特点,分别是低成本,高扩展性和高性能,吸引了大批传统行业的企业客户,慢慢开始改变IT架构的格局。第二个层次是数据,是大数据服务的核心,数据分为企业数据、个人数据和...
来自: 阿里云 > 网站

阿里、万国、XDC+数据中心建设经验分享

数据中心一个造价的理念,我们的每一个造价师要尽量的把成本足,但还要平衡可靠性的因素,平衡将来发展的因素,平衡将来技术革新的因素。数据中心建设:一个改造的数据中心5、6个月可以完成,从土建开始12个月...
来自: 阿里云 > 网站

OpenStack 建设企业私有云要解决五大问题

再比如大数据分析,通过Sahara可以快速部署Hadoop集群,那又怎么打通OpenStack和Hadoop之间的账户、安全、管理和运维监控体系?c.OpenStack的虚拟机级别的高可用做的还不好。目前并没有官方声明OpenStack支持虚拟机...
来自: 阿里云 > 网站

车辆大数据在引领平安城市建设发展中的作用及关键技术

一、按照中共中央办公厅和国务院办公厅印发《关于加强社会治安防控体系建设的意见》关于各地加快公共安全视频监控系统建设,全面提高社会治安防控体系的科技化水平要求,前端车辆抓拍点位的建设规划质量、成像效果等...
来自: 阿里云 > 网站

Deeplearning4j:如何建设深度学习开源社区

他们并不总知晓所提出问题的精准术语,因此你必须耐心搞清楚他们想要问什么,或者他们遇到了什么困难。我们应该一直保持耐心。保持联系,为之努力,并为强大的工具提供支持是社区建立的好方法。当大项目的创建者...
来自: 阿里云 > 网站

企业大数据平台下数仓建设思路

从2012年开始,之前在Hadoop上的数据体系搬迁到阿里云数加MaxCompute(原ODPS),并完成了数据体系的重构,此时介然负责平台基础数据的建设支持全集团的上层数据应用。在2014年之后,公司开始对外服务,开始研究数据...
来自: 阿里云 > 网站

互联网大数据技术与传统行业的融合

Hadoop为首的开源大数据技术三个重要的特点,分别是低成本,高扩展性和高性能,吸引了大批传统行业的企业客户,慢慢开始改变IT架构的格局。第二个层次是数据,是大数据服务的核心,数据分为企业数据、个人数据和...
来自: 阿里云 > 网站

阿里云开源大数据内核团队招聘人才

构建分布式大数据云服务,并且参与到社区建设。深入源码内核改进优化开源项目,解决源码级别问题。需要注意的是:不是使用组件,是研发hadoop、spark、hbase、flink等组件,深入修改内核,需要较强的分布式理论及...
来自: 阿里云 > 网站

大数据的起源和错失大数据市场的鼻祖Google

所以我们不需要去纠结于大数据到底是什么,而是要看清楚具体业务问题是什么什么合适的工具去解决。这些工具可能是新的也可能是旧的。我想大数据的所谓发展无非就是工具的进步使得大家能够更有能力去在限定的时间...
来自: 阿里云 > 网站

大数据应用:论底层基础设施硬件到底多重要

统观当前国内的企业级市场,真正把目光专注于Hadoop的企业级厂商数量其实并不是太多,业内专家曾经指出,在进入新世纪后的第一个十年当中,跟多企业都把发展的重点放在了IT设备的采购、数据中心机房的建设以及各种...
来自: 阿里云 > 网站

省时省事省力 巧阿里ECS D1构建大数据处理平台

而采用阿里云ECS建设大数据平台,可以充分选择D1和其它独享型规格类型,做到为每个Hadoop/Spark组件节点“量体裁衣”来选择实例,最大限度避免资源浪费。此外,传统大数据平台规模和分析能力固定,难以应对临时性...
来自: 阿里云 > 网站

登月1号:支付宝演绎空中升级绝技

平台安全性方面:ODPS基于数据对象的ACL授权机制完全替代了Hadoop下的HDFS文件授权机制,从根本上提高了数据权限的管理力度,并且在此基础上衍生出Role、Policy、ProjectProtection、LabelSecurity等权限管理手段...
来自: 阿里云 > 网站

突破大数据应用建设的“最后一公里”华为联合先进数通...

目前先进数通iMOIA.SMS调度监控管理系统在国内银行、证券、保险、制造等行业均大量的用户,受到了行业用户的认可,是大数据调度监控管理领域的佼佼者之一。华为FusionInsight是基于Apache Hadoop开源社区的企业级...
来自: 阿里云 > 网站

四大银行的CIO们如何看待大数据

我们在2003年初开始搞大数据,当时很多困惑,首先感觉到大数据到来了,现在各个行业,中央台什么东西都大数据说话,我们在银行业我们能做什么呢?早期在十几年前我们大家做数据仓库的时候,大家可能选择面都很窄...
来自: 阿里云 > 网站

通信行业统一大数据平台破解“多租户”

运营商在各省市都不同的分支机构,某电信运营商作为第一批建设大数据的运营商,在3、4年前就开始大数据平台的建设,2年内获得了超过3000万的业务收益。但随着海量数据和数据应用种类的不断增长,大数据系统超负荷...
来自: 阿里云 > 网站

四大银行的CIO们如何看待大数据

我们在2003年初开始搞大数据,当时很多困惑,首先感觉到大数据到来了,现在各个行业,中央台什么东西都大数据说话,我们在银行业我们能做什么呢?早期在十几年前我们大家做数据仓库的时候,大家可能选择面都很窄...
来自: 阿里云 > 网站

通信行业统一大数据平台破解“多租户”

运营商在各省市都不同的分支机构,某电信运营商作为第一批建设大数据的运营商,在3、4年前就开始大数据平台的建设,2年内获得了超过3000万的业务收益。但随着海量数据和数据应用种类的不断增长,大数据系统超负荷...
来自: 阿里云 > 网站

大数据底层平台公司能做多大?

什么样的公司机会突围成功那么,什么样的公司机会突围成功,成为中国的Oracle,笔者认为具备以下几点的公司机会最大。第一, 开源心态助于保持技术领先地位以Hadoop为代表的开源技术正在改变世界,但开源和可...
来自: 阿里云 > 网站

如何看待基于OpenStack与Docker技术的云计算建设

既然OpenStack并不完美,Docker也其自己的问题,那么在云化建设上,没有什么解决之道?因为毕竟市场在那里摆着,企业及用户的需求在那里摆着。我们去看云计算的核心,分为云资源管理与云服务提供,“云资源”是...
来自: 阿里云 > 网站

Garnter:自建大数据安全分析平台恐失败

此外,在底层技术支撑架构的设计方面,要慎用Hadoop,千万不要觉得hadoop就多么牛掰,“言大数据必称hadoop”的思想很危险,spark也不是什么善茬儿。hadoop到底需要不需要?It depends,放到安全分析的情境之下,...
来自: 阿里云 > 网站

清华大学数据科学研究院与Cloudera联手发布大数据人才...

Hadoop创立之初至今已十年,而Cloudera成立也八年之久、进入中国一年半了。与中国清华大学的合作,显然会加速Cloudera在中国的发展。我们很荣幸能为中国大数据人才教育做出贡献。同时,Cloudera也发布了BASE...
来自: 阿里云 > 网站

2016年北京中国云计算技术大会见闻

新的技术,spark2.0、flink、kudu基本在一些大的公司使用或者尝试,中小公司(技术团队100以下的)在大数据方面的投资基本还是在hive、hadoop,也一些尝试了spark1.x的功能。版权声明 笔者微博:[阿里封神]...
来自: 阿里云 > 网站

大数据究竟是什么

如果你说大数据就是数据大,或者侃侃而谈4个V,也许很深度的谈到BI或预测的价值,又或者拿Google和Amazon举例,技术流可能会聊起Hadoop和Cloud Computing,不管对错,只是无法勾勒对大数据的整体认识,不说是片面...
来自: 阿里云 > 网站

IBM卢伟权:大数据下的信息掌握与分析

我们现在在中国也好几个项目是流计算技术来做,其中也关注到天气,如果天气有什么变化,对我的电力供应有什么影响,这些也是可以很多大数据和数据流这样的应用其中一个应用的案例。传统的数据仓库,IBM的DB2为...
来自: 阿里云 > 网站

唯品会大数据存储和计算资源管理的痛、解决方法与思路...

Hadoop对机器硬件的要求其实并不高,那我们可以通过什么数据来告诉你Hadoop集群是问题呢?很简单,所有上面跑过的任务都统计过了,我们就可以知道,跑了100个任务,失败了多少个。如果你定下指标,跑了100个,结果...
来自: 阿里云 > 网站

2014 中国大数据技术大会将于12月中旬隆重召开

2012年,面对大数据所带来的巨大挑战与机遇,中国计算机学会于10月正式成立了大数据专家委员会,意在探讨大数据的核心科学与技术问题,推动大数据学科方向的建设与发展,同时构建面向大数据产学研的学术交流、技术...
来自: 阿里云 > 网站
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
智能数据构建与管理 E-MapReduce 云服务器 商标 SSL证书 物联网无线连接服务 短信服务 对象存储
这些文档可能帮助您
步骤五:规范建模 新建工厂标签 选型配置说明 数仓构建流程 步骤四:规范定义 新建派生指标

你可能感兴趣

热门推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT