阿里云搜索结果解决方案模块_企业级分布式数据库

《中国人工智能学会通讯》——8.33 未来发展趋势

由于这些并行与分布式任务有着不同的资源需求以及不同的执行时间、先后顺序等需求,如何实时地给提交至系统的并行与分布式任务分配合理的计算资源,俨然成为提高系统平台资源利用率的关键点。另外,由于高性能平台...
来自: 阿里云 >网站

打造百亿级数据处理量的弹性调度容器平台

第三是因为Mesos的简单性,开放性及可扩展性,Mesos是一个开源的分布式弹性资源管理系统,整个Mesos系统采用了双层调度框架:第一层由Mesos收集整个数据中心的资源信息,再将资源分配给框架;第二层由框架自己的调度...
来自: 阿里云 >网站

Juice——一种基于MesosFramework的任务云框架

Juice——一种基于MesosFramework的任务云框架【编者的话】近年来,随着Mesos在生产环境中的普及,使大规模的集群管理变得简单,而基于MesosFramework开发的Juice框架,能够完成分布式任务的分发,处理,对于资源...
来自: 阿里云 >网站

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!
广告

大数据的那些事儿

Hadoop:分布式处理架构,结合了 MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统);Tigon:高吞吐量实时流处理框架。分布式编程 AddThis Hydra:最初在AddThis上开发的分布式数据处理和存储系统...
来自: 阿里云 >网站

微服务的两种模式:应用中心和任务中心

它来自于运行大规模分布式应用程序的挑战,通过云本地技术的最新进展来启用。快速、有效、持续交付软件的能力,因为文化迁移,已经成为开发者、运维者、架构师之间的热门话题,并在企业里被广泛接受。技术格局的...
来自: 阿里云 >网站

实操代码研究各种Java技术-java.toutiao.im

springmvc+velocity whatsmars-earth-support-web earth工程的...demo server whatsmars-motan-demo weibo分布式RPC框架 demo server&client 技术生态 java.toutiao.im 原文链接:[http://wely.iteye.com/blog/2380862]
来自: 阿里云 >网站

大数据初探——Hadoop历史

Yarn(另一种资源协调方式):是一种资源管理框架,用来处理多个分布式架构发送的资源请求调度。一个HDFS集群主要由Namenode和Datanode组成,其中Namenode只有一个,主要用于管理存储数据的元数据,而Datanode可以有多...
来自: 阿里云 >网站

阿里云机器学习平台编程模型演进之路

由于MPI计算任务通过底层分布式调度系统动态调度到不同机器上,而跑MPI任务时需要提前知道MPI任务需要运行相应host名字,所以我们对MPI底层网络拖口建立进行了重构,以此适配分布式调度系统。目前PAI机器学习上,...
来自: 阿里云 >网站

100%移植阿里云移动测试技术,竟仅需1周?——移动...

从模块划分上来看,主要包括:用户交互平台、任务调度平台、移动终端控制系统、无线机房管理平台、自动化测试能力、中间件(数据库、缓存、文件存储)、无线机房硬件方案、专家支持服务。除了自动化测试能力,其他...
来自: 阿里云 >网站

网站架构技术

NoSQL和搜索引擎都是源自互联网的技术手段,对可伸缩的分布式特性具有更好的支持。应用服务器则通过一个统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。优点:降低DB依赖;缺点:单点问题,谈不...
来自: 阿里云 >网站

如何设计稳定性横跨全球的 Cron 服务

因此,考虑一个非常简单的分布式的例子 ———我们使用两台机器,然后 cron 调度在其中一台机器上运行任务(比如通过 ssh)。然后产生了一个故障域了:调度任务和目标服务器都可能失败。另外一个需要注意的地方是,...
来自: 阿里云 >网站

新一代etcd:etcd3

现在它被用于分布式网络、服务发现、配置管理、任务调度和负载均衡等服务中。原始设计的部分内容被证明是成功的:etcd已经成长为键值对存储引擎,包括JSON外部协议,持续键值更新观察者和有生存时间的键等特性。不幸...
来自: 阿里云 >网站

一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台...

1)HDFS(分布式文件系统)2)YARN(运算资源调度系统)3)MAPREDUCE(分布式运算编程框架)Hadoop 中的分布式文件系统 HDFS 由一个管理结点(NameNode)和N个数据结点(DataNode 组成,每个结点均是一台普通的计算机。...
来自: 阿里云 >网站

仁人帮探索大数据技术

而利用分布式计算技术,ADS可以在处理百亿条甚至更多量级的数据上达到甚至超越MOLAP类系统的处理性能,真正实现百亿数据毫秒级计算。ADS是采用搜索+数据库技术的数据高度预分布类MPP架构,初始成本相对比较高,但是...
来自: 阿里云 >网站

《Spark大数据处理:技术、应用与性能优化》——1.2 ...

Spark将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。其底层采用Scala这种函数式语言书写而成,并且所提供的API深度借鉴Scala函数式的编程...
来自: 阿里云 >网站

技术与架构,解析如何将大数据最快落地到实践

是大数据存储,分布式计算,数据查询优化,分布式调度等领域的专家。具有10多年研究和开发经历,分别打造微软和阿里内部大型数万台级别数据中心的计算平台。演讲议题:MaxCompute 2.0 性能优化揭秘 直播时间:3月9日...
来自: 阿里云 >网站

大数据计算架构Hadoop、Spark和Storm 三者技术比较

所谓分布式计算过程就像蚂蚁搬家一样,将一个大型任务分割成很多部分,每一台电脑相当于一个小蚂蚁将其中一部分搬走。Hadoop作为分布式系统的基础架构,其重要性不言而喻。Hadoop的数据处理工作在硬盘层面,借助HDFS...
来自: 阿里云 >网站

115期:在线大数据技术峰会回顾合集!

微服务化是当前非常流行的技术趋势,可以将大型系统拆解成细粒度的分布式服务,从而开发更敏捷,并且有更好的扩展性和容错能力。但是随着系统走向分布式,整体架构的复杂度会不断上升,例如,在阿里电商平台每处理一...
来自: 阿里云 >网站

SOA、网格计算、云计算与P2P技术

P2P技术弱化了集中服务器的功能,重视网络中所有个体的作用,强调的是个体之间、系统之间、计算机之间的直接通信和联系,每一个参与者既是客户又是服务方,它与现行以中间件为主的分布式计算技术所采用的Client/...
来自: 阿里云 >网站

大数据关键技术解析

重点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视化接口技术,大数据的网络传输与压缩技术,大数据隐私保护技术等。二、大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作...
来自: 阿里云 >网站

《Spark大数据分析:核心概念、技术及实践》一 第1章 ...

它抽象了集群计算,提供了编写分布式数据处理应用的高级结构,使得没有编写分布式或并行应用的程序员也可以编写运行在商用计算机集群上的应用。MapReduce框架自动在集群中各计算机上调度应用的执行。它会处理负载...
来自: 阿里云 >网站

史上最全“大数据”学习资源整理

Apache Hadoop:分布式处理架构,结合了 MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统);Tigon:高吞吐量实时流处理框架。分布式编程&AddThis Hydra 最初在AddThis上开发的分布式数据处理和存储系统;...
来自: 阿里云 >网站

从Hadoop框架与MapReduce模式中谈海量...淘宝技术架构)

一种云计算的核心计算模式,一种分布式运算技术,也是简化的分布式编程模式,它主要用于解决问题的程序开发模型,也是开发人员拆解问题的方法。Ok,光说不上图,没用。如下图所示,mapreduce模式的主要思想是将自动...
来自: 阿里云 >网站

DT时代,与坚持梦想者同行!

平台提供数据工程师/分析师开箱即用的计算服务,通过强大的查询优化引擎,分布式调度系统,资源隔离技术,沙箱隔离等安全技术, 该平台具有高性能,低成本,高可靠,高可维护性,高可扩展的特性并且高度兼容开源,...
来自: 阿里云 >网站

从太平洋保险DCOS实践看企业IT架构演变

Marathon是基于Mesos来做任务调度,Mesos仅负责分布式集群资源分配,不负责任务调度。Mesos集群可以混合运行来自Marathon的不同类型的任务。Marathon基于Mesos的任务调度为动态调度,即每个任务在执行之前是不知道将...
来自: 阿里云 >网站

云计算趋势:数据中心向整合化发展

业务/资源调度中心、副本管理技术任务调度算法、任务容错机制等资源调度和管理技术的发展和优化,将为云计算资源调度和管理提供技术支撑。不过,正成为业界关注重点的云计算操作系统有可能使云计算资源调度管理...
来自: 阿里云 >网站

大数据分析你不能不懂的6个核心技术

Spark支持分布式数据集上的迭代式任务,实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。另外,基于性能、兼容性、数据类型的研究,还有Shark、Phoenix、Apache Accumulo、Apache Drill、...
来自: 阿里云 >网站

大数据分析你不能不懂的6个核心技术

Spark支持分布式数据集上的迭代式任务,实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。另外,基于性能、兼容性、数据类型的研究,还有Shark、Phoenix、Apache Accumulo、Apache Drill、...
来自: 阿里云 >网站

大数据分析你不能不懂的6个核心技术

Spark支持分布式数据集上的迭代式任务,实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。另外,基于性能、兼容性、数据类型的研究,还有Shark、Phoenix、Apache Accumulo、Apache Drill、...
来自: 阿里云 >网站

智慧城市建设的关键技术研究

无线传感网核心技术主要集中于网络拓扑控制技术、多跳可靠数据交互技术、信道资源调度技术、物理层技术、协同计算与处理技术、分布式信息感知技术等。无线传感网以其智能化、低功耗、自组织的特性提供了全新的智能化...
来自: 阿里云 >网站

这些技术可能会阻碍你在大数据征程上的步伐

有点过于吹毛求疵了,但是Hive好比是市面上性能最低下的分布式数据库。要是我们整个行业没有认定关系数据库管理系统(RDBMS)是自切片面包以来这40年来最出色的技术,那么我们果真会开发出这种怪兽?HDFS 用Java编写一...
来自: 阿里云 >网站

解决持久化数据太大,单个节点的硬盘无法存储的问题;...

后者就是把存储、计算任务分担到普通的机器上,通过动态增加节点来应对数据量的增长,但缺点是多个节点的管理、任务调度比较麻烦,这也是分布式系统研究和解决的问题。只有当数据量达到单机无法存储、处理的情况下...
来自: 阿里云 >网站

记一次JavaWeb网站技术架构总结

数据异构-分布式任务#网络安全-SQL注入-XSS攻击-CSRF攻击-拒绝服务(DoS,Denial of Service)攻击 架构装逼必备工具#操作系统 Linux(必备)、某软的#负载均衡 DNS、F5、LVS、Nginx、HAproxy、负载均衡SLB(阿里...
来自: 阿里云 >网站

这些技术可能会阻碍你在大数据征程上的步伐

有点过于吹毛求疵了,但是Hive好比是市面上性能最低下的分布式数据库。要是我们整个行业没有认定关系数据库管理系统(RDBMS)是自切片面包以来这40年来最出色的技术,那么我们果真会开发出这种怪兽?HDFS 用Java编写一...
来自: 阿里云 >网站

《中国人工智能学会通讯》——10.23 ...互联网中的关键技术

其中能源生产技术中以分布式可再生能源为主,辅以清洁高效的传统能源技术,探索未来新兴能源技术;降低传输损耗、延长传输距离是保障能源互联网未来稳定运行的关键支撑技术;储能技术为能源稳定供应提供保障;调配...
来自: 阿里云 >网站

大数据和区块链之间的比较分析

节点管理、任务调度、容错和高可靠性是关键技术。Google和Hadoop的MapReduce是这种分布式计算技术的代表,通过添加服务器节点可线性扩展系统的总处理能力(Scale Out),在成本和可扩展性上都有巨大的优势。现在,除了...
来自: 阿里云 >网站

RPC通信框架——RCF介绍

那么为了实现跨平台,支持Linux系统,以及后续的分布式,首要任务是去除COM接口。在对大量框架进行调研后,决定使用RCF替换COM接口。RPC通信框架 CORBA ICE Thrift zeromq dbus RCF YAMI4 TAO 为什么选择RCF 经过...
来自: 阿里云 >网站

上半年光伏产业看点多:中东部户用井喷 西北弃光率同...

据记者了解,上半年我国分布式光伏新增装机容量主要集中于浙江、山东、安徽,三省上半年新增装机容量分别为125万千瓦、123万千瓦、138万千瓦,同比增长均在2倍以上,三省合计分布式光伏新增装机占全国的54.2%。...
来自: 阿里云 >网站

梳理上半年光伏产业发展三大看点

据记者了解,上半年我国分布式光伏新增装机容量主要集中于浙江、山东、安徽,三省上半年新增装机容量分别为125万千瓦、123万千瓦、138万千瓦,同比增长均在2倍以上,三省合计分布式光伏新增装机占全国的54.2%。...
来自: 阿里云 >网站

阿里云表格存储技术分享

非常牛逼的团队可以同时解决上面两个问题,解决的方案就是利用新兴数据库类似的技术,比如利用分布式存储提供数据高可靠或者通过类似Paxos的一致性协议独自做多主。解决上面三个问题的方案可以是在传统数据库上改造...
来自: 阿里云 >网站

史上最全的“大数据”学习资源(上)

Hadoop:分布式处理架构,结合了&MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统);Tigon:高吞吐量实时流处理框架。分布式编程&AddThis Hydra&:最初在AddThis上开发的分布式数据处理和存储系统...
来自: 阿里云 >网站

2017双11技术揭秘—阿里数据库计算存储分离与离在线混...

基于分布式存储,底层分布式存储支持多点mount,用于将计算节点快速弹性到离线机器。另外,数据库Buffer Pool可以进行动态扩容。大促ODPS任务撤离,DB实例Buffer Pool扩容;大促结束后,Buffer Pool回缩到平峰业务时...
来自: 阿里云 >网站

请大家协助申诉努比亚利用开源软件申请的专利无效

发明名称:一种分布式任务调度系统及方法 4.业务类型:无效审查 5. 投诉标题:该专利侵犯开源软件权益 6.投诉内容:该专利完全拷贝开源软件 xxl-job 的设计理念、包括软件介绍、设计图等等,详细问题请看 ...
来自: 阿里云 >网站

2017年大数据领域,这7大技术将退役!

各种供应商都有解决方法,但老实说,更好的工具是存在的,还有其他分布式文件系统,比如MaprFS就是一个不错的选择,还有Gluster. 结语 总结下来,未来的Spark、Apex、Flink还有着广阔的发展前景,而Storm、Hive、...
来自: 阿里云 >网站

“云计算”和“虚拟化”的区别

由此可以看出虚拟化主要是把大块拆成小块儿,分布式系统主要是把小块组合成大块儿,IT资源经过这样的揉碎再组合,变成了一个十分灵活的系统,在这几个基本技术的基础上,在通过某种调度和经营,就可以实现云计算的...
来自: 阿里云 >网站

这些硬技术,UCloud安全屋都有

第二个是任务调度平面,对分布式的任务进行部署分发以及管理;第三个就是业务平面,每个用户都会通过业务实现自己自身的业务逻辑,包括用户登入、记费等各种各样的管理,大数据也是其中的一方面。PCM对等协作系统是...
来自: 阿里云 >网站

这些硬技术,UCloud安全屋都有

第二个是任务调度平面,对分布式的任务进行部署分发以及管理;第三个就是业务平面,每个用户都会通过业务实现自己自身的业务逻辑,包括用户登入、记费等各种各样的管理,大数据也是其中的一方面。PCM对等协作系统是...
来自: 阿里云 >网站

Spark计算过程分析

Spark是一个分布式的内存计算框架,其特点是能处理大规模数据,计算速度快。Spark延续了Hadoop的MapReduce计算模型,相比之下Spark的计算过程保持在内存中,减少了硬盘读写,能够将多个操作进行合并后计算,因此提升...
来自: 阿里云 >网站

价值1207亿的技术分享,你不能错过“2016双11技术创新...

是大数据存储,分布式计算,数据查询优化,分布式调度等领域的专家。具有10多年研究和开发经历,分别打造微软和阿里内部大型数万台级别数据中心的计算平台。阿里巴巴研究员、日本丰桥技术科学大学计算机科学博士、...
来自: 阿里云 >网站

4位专家解读2015大数据技术进展

YARN作为一个分布式数据操作系统,主要作用是资源管理和资源调度。在过去一年,YARN新增了包括基于标签的调度、对长服务的支持、对Docker 的支持等多项重大功能。基于标签的调度,使得YARN 能够更好地支持异构集群...
来自: 阿里云 >网站

一文读懂百度PaddlePaddle EDL技术

它的出发点是通过公平分配计算资源给某一个单一的计算任务中的各个Pod来实现分布式系统资源针对单一任务的最优化利用。在“训练深度学习模型”这个场景下,“某一个单一的计算任务”可能是训练一个识别图 像中物体的...
来自: 阿里云 >网站

知识分享:详解Hadoop核心架构

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍,基本涵盖了Hadoop分布式平台的所有技术核心。通过这一阶段的调研总结,从内部机理的...
来自: 阿里云 >网站

传统企业的“互联网+”实战

任务调度:Marathon Marathon是基于Mesos来做任务调度,Mesos仅负责分布式集群资源分配,不负责任务调度。 Mesos集群可以混合运行来自Marathon的不同类型的任务。 Marathon基于Mesos的任务调度为动态调度,即每个...
来自: 阿里云 >网站

九年双11云化架构演进和升级,打造更加完美的双11

随着分布式架构、异地多活、限流降级、全链路压测等技术的突破,扩展性和稳定性问题得到了很好的解决。系统架构伴随9年双11的发展一代一代向后演进,每一年都有很大的提高。08年开始阿里巴巴着手系统从由集中式架构...
来自: 阿里云 >网站

《Spark大数据处理:技术、应用与性能优化》——第3章...

Spark站在巨人的肩膀上,依靠Scala强有力的函数式编程、Actor通信模式、闭包、容器、泛型,借助统一资源分配调度框架Mesos,融合了MapReduce和Dryad,最后产生了一个简洁、直观、灵活、高效的大数据分布式处理框架。...
来自: 阿里云 >网站

《大数据架构和算法实现之路:电商系统的技术实战》...

如此设计是为了让子任务的监测进行分布式处理,大幅减少了工作跟踪节点的资源消耗。同时,这里所说的应用既可以是传统意义上的MapReduce任务,也可以是基于有向无环图(DAG)的任务。因此,在YARN的基础上,甚至还...
来自: 阿里云 >网站

阿里巴巴开源技术汇总:115个软件

淘宝Hadoop作业平台:宙斯Zeus 宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期。淘宝分布式数据库OceanBase OceanBase是一个支持海量...
来自: 阿里云 >网站

大数据处理与编程实践》一一1.1 并行计算技术简介

Passing):从广义上来讲,对于分布式内存访问结构的系统,为了分发数据实现并行计算、随后收集计算结果,需要在各个计算节点或者计算任务间进行数据通信。这种编程方式有时候可狭义地理解为多进程处理方式。最常用...
来自: 阿里云 >网站

MaxCompute 中的Code Generation技术简介

Generation技术及其在大规模OLAP系统,特别是大规模分布式OLAP系统中的重要性。MaxCompute采用了Code Generation技术来提高计算效率。在MaxCompute2.0中,我们又引入了基于LLVM的JIT(Just In Time)Code Generation...
来自: 阿里云 >网站

三:基于Storm的实时处理大数据的平台架构设计

一:元数据管理器=>元数据管理器是系统平台的“大脑”,在任务调度中有着重要的作用【1】什么是元数据?中介数据,用于描述数据属性的数据。具体类型:描述数据结构,数据的具体位置,数据间的依赖关系,数据的处理...
来自: 阿里云 >网站

企业级云应用平台的实践和思考

EGO就是这个技术在HPC等分布式企业领域演进10年后的2.0架构中的资源管理技术,在最近北京、西安的Mesos Meetup都有所介绍,就是所谓的IBM Platform DCOS技术,下面是其中一张PPT。上面的图中所有绿色都是IBM ...
来自: 阿里云 >网站

《Spark大数据分析:核心概念、技术及实践》一3.2 ...

worker把Spark应用当成分布式进程在集群节点上执行。3.2.2 集群管理员 Spark使用集群管理员来获得执行作业所需要的集群资源。顾名思义,集群管理员管理集群中worker节点的计算资源。它能跨应用从底层调度集群资源。...
来自: 阿里云 >网站

云计算技术的产生、思想、原理、应用和前景

MapReduce是Google开发的java、Python、C++编程模型,它是一种简化的分布式编程模型和高效的任务调度模型,用于大规模数据集(大于1TB)的并行运算。严格的编程模型使云计算环境下的编程十分简单。MapReduce模式的思想...
来自: 阿里云 >网站

《Spark大数据处理:技术、应用与性能优化》——第1章...

(4)任务调度的开销 传统的MapReduce系统,如Hadoop,是为了运行长达数小时的批量作业而设计的,在某些极端情况下,提交一个任务的延迟非常高。Spark采用了事件驱动的类库AKKA来启动任务,通过线程池复用线程来避免...
来自: 阿里云 >网站

云计算技术在IT支撑系统应用探究

通过虚拟化技术,将IT支撑系统的设备组成资源池系统,通过IT软硬件厂商提供的管理工具、管理协议和开放接口,实现对资源池中各种资源及设备的管理,并接收云管理平台的指令,完成资源部署、配置、调度等操作任务,...
来自: 阿里云 >网站

《Spark大数据分析:核心概念、技术及实践》大数据...

它抽象了集群计算,提供了编写分布式数据处理应用的高级结构,使得没有编写分布式或并行应用的程序员也可以编写运行在商用计算机集群上的应用。MapReduce框架自动在集群中各计算机上调度应用的执行。它会处理负载...
来自: 阿里云 >网站

那些年,追过的开源软件和技术

Jobs的任务调度与协调。Azkaban:跟上面很像,Linkedin开源的面向Hadoop的开源工作流系统,提供了类似于cron 的管理任务。Tez:Hortonworks主推的优化MapReduce执行引擎,与MapReduce相比较,Tez在性能方面更加出色...
来自: 阿里云 >网站

大数据:Hadoop族群介绍

技术上看,Hadoop由两项关键服务构成:采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务,以及利用一种叫做MapReduce技术的高性能并行数据处理服务。这两项服务的共同目标是,提供一个使对结构化和复杂数据的...
来自: 阿里云 >网站

如何实现SchedulerX调用

SchedulerX是一款阿里云中间件团队的分布式调度产品。依赖SchedulerX-Client,以及在控制台简单的配置对应的调度周期即可实现高稳定高可用的分布式调度功能。调度灵活,可按照周期性触发、固定时间触发以及在控制台...
来自: 阿里云 >网站

如何解决大规模机器学习的三大痛点?

Failover以及高性能的ArrayHashMap等机制,加上动态稀疏化正则机制等特征处理技术,保证了分布式训练的性能,提高了Server的存储效率。面对这些大规模下的机器学习问题,eXtreme Parameter Server在阿里巴巴内部...
来自: 阿里云 >网站

一起谈.NET技术,关于大型ASP.NET应用系统的架构—...

分层的架构部署到多台服务器上,理论上是可以的,但是光靠原有的层是不够的,有了服务器的边界之后,原来在同一个进程里面的方法调用就不再可行,必须新加一些层来做分布式的调用,才能让原来的各层运行起来。...
来自: 阿里云 >网站

《Hadoop技术详解》一第1章 简介

这个分布式系统由分布式文件存储系统(HDFS)以及计算框架(Map/reduce)组成。HADOOP是一个开源项目,能为大量数据集提供批量数据处理能力。Hadoop被设计成不光要容忍软硬件的不可靠,还要对此习以为常。Hadoop使用...
来自: 阿里云 >网站

猛犸系统

统一的,高效的分布式系统诞生的条件已经成熟:资源管理/调度系统。资源模型取代传统的服务器模型。容器技术。单机上混跑任务互不干扰 应用与服务器互不依赖 分布式协调组件,例如Zookeeper,消息队列等的成熟 猛犸...
来自: 阿里云 >网站

窥探“大数据”全貌(技术篇、产业篇、企业转型篇)

Hadoop架构的分布式文件系统、分布式数据库和分布式并行计算技术解决了海量多源异构数据在存储、管理和处理上的挑战。从2006年4月第一个Apache Hadoop版本发布至今,Hadoop作为一项实现海量数据存储、管理和计算的...
来自: 阿里云 >网站

探访阿里巴巴8大技术专家,提前揭秘2017双11关键技术

该产品专注于解决分布式领域读写分离、分库分表、无线水平扩容等一系列分布式数据库问题和流量高峰期分布式上存在的问题。对业务透明友好,并能对特定业务提供个性化支持。最后,PTS压力测试也同样是一项优秀的性能...
来自: 阿里云 >网站

大数据处理系统关键层次架构

Dryad:Dryad是一个通用的粗颗粒度的分布式计算和资源调度引擎,其核心特性之一,就是允许用户自己构建DAG调度拓扑图。Tez:其核心思想来源于Dryad,可视为利用Yarn(即MRv2)对Dryad的开源实现。Apache Tez是基于...
来自: 阿里云 >网站

Spring cloud整体框架

Cloud从技术架构上降低了对大型系统构建的要求,使我们以非常低的成本(技术或者硬件)搭建一套高效、分布式、容错的平台,但Spring Cloud也不是没有缺点,小型独立的项目不适合使用,另外对分布式事物的支持暂时也...
来自: 阿里云 >网站

Windows CE嵌入导航系统研究(关键技术)

为程序员提供了高效的实时任务调度、中断管理、实时的系统资源以及实时的任务间通信。应用程序员可以将尽可能多的精力放在应用程序本身,而不必再去关心系统资源的管理。该系统主要应用在单板机、数据网络(以太网...
来自: 阿里云 >网站

springcloud(一):大话Spring Cloud

Cloud从技术架构上降低了对大型系统构建的要求,使我们以非常低的成本(技术或者硬件)搭建一套高效、分布式、容错的平台,但Spring Cloud也不是没有缺点,小型独立的项目不适合使用,另外对分布式事物的支持暂时也...
来自: 阿里云 >网站

可扩展性数据库的架构设计

对于数据库引擎,这意味着服务器组件必须支持多线程计算,允许操作系统在所有处理器核心上执行并行任务调度。不仅如此,数据库引擎必须提供有效的方法,以在多核上分解工作负荷。举个例子,如果数据库只使用四个线程...
来自: 阿里云 >网站

基于阿里云数加平台,袋鼠云助力光伏发电企业进行光伏...

固德威响应国家号召,分布式电力能源“自己自足,余电上网”,但是要上网得知道自己未来有多少电,所以需要搭建发电功率预测系统。但是公司目前没有完善的数据采集系统和调度系统,搭建系统耗费周期长,成本高。公司...
来自: 阿里云 >网站

当当 Elastic-job 开源项目的十项特性

TBSchedule:阿里早期开源的分布式任务调度系统。代码略陈旧,使用timer而非线程池执行任务调度。众所周知,timer在处理异常状况时是有缺陷的。而且TBSchedule作业类型较为单一,只能是获取/处理数据一种模式。还有...
来自: 阿里云 >网站

技术实验】表格存储Tablestore准实时同步数据到...

分布式NoSQL数据库:解决两亿存储量的问题,解决属性列较多且不固定的问题,解决可靠性要求高的问题。搜索系统:解决固定列模糊搜索的需求。如果使用阿里云产品,那么对应的产品就是:Table Store:分布式NoSQL数据...
来自: 阿里云 >网站

【14点正式开始】技术与架构,解析如何将大数据最快...

是大数据存储,分布式计算,数据查询优化,分布式调度等领域的专家。具有10多年研究和开发经历,分别打造微软和阿里内部大型数万台级别数据中心的计算平台。演讲议题:MaxCompute 2.0 性能优化揭秘 直播时间:3月9日...
来自: 阿里云 >网站

《深入理解大数据:大数据处理与编程实践》一一1.4 ...

分布式存储构架上,Hadoop基于每个从节点上的本地文件系统,构建一个逻辑上整体化的分布式文件系统,以此提供大规模可扩展的分布式数据存储功能,这个分布式文件系统称为HDFS(Hadoop Distributed File System),...
来自: 阿里云 >网站

Hadoop的过去、现在和未来

但Hadoop本身还包括分布式文件系统和任务调度、规划等众多功能;而这些则是Spark所没有的。作为开源技术,Hadoop和Spark都是模块化开发的。这也就意味着他们是可以相互融合,一起使用的。在未来,我们很可能看到Spark...
来自: 阿里云 >网站

大数据计算架构三国争霸胜负未明

所谓分布式计算过程就像蚂蚁搬家一样,将一个大型任务分割成很多部分,每一台电脑相当于一个小蚂蚁将其中一部分搬走。Hadoop作为分布式系统的基础架构,其重要性不言而喻。Hadoop的数据处理工作在硬盘层面,借助HDFS...
来自: 阿里云 >网站

DC/OS关键技术与应用场景

为实现如图4所示的功能架构,需要引入资源调度技术、容器技术等,在技术路线选择上,则以社区领域的开源技术为基础形成自有版本,并兼顾开源社区本身的发展。一种较为适合运营商的DC/OS技术架构如图5所示。Mesos版本...
来自: 阿里云 >网站

智能存储大道之行

与此同时,联合红帽Redhat,借助红帽面向大数据和云计算领域的分布式文件系统Gluster企业版,结合TaoCloud技术团队多年在Gluster方面积累的系统理论及实践经验,推出了XDFS-Pro分布式文件存储。竞争加剧要怎么突出...
来自: 阿里云 >网站

微能源网让用能末梢活力足 机制创新亟待跟上

关于微能源网的几项关键技术,张建华以微电网为例作了阐释:分布式发电的控制技术分布式电源从几十千瓦到几十兆瓦,即插即用,清洁环保。微电网控制与保护技术。这其中包括不同供电模式下微电网的孤岛检测与运行...
来自: 阿里云 >网站

从云的起源浅析国内云平台的现状和未来

为了解决这些服务器的分布式计算、调度任务分配、协调运行、监控等,Google在分布式领域的研究投入相当大。二是云计算的前生就是分布式计算,是分布式计算的进一步发展。Google在云计算方面最杰出的三大贡献是:...
来自: 阿里云 >网站

从幼苗长成大树 中美两国GIS软件技术已并驾齐驱

9D系列产品,该版本全面拥抱空间大数据技术,在空间大数据存储、分布式空间分析、大数据可视化、微服务、智能运维等方面全新升级,并进一步优化提升云端一体化GIS功能,构建新一代三维GIS技术体系,以满足更广阔空间...
来自: 阿里云 >网站

号称史上最晦涩的算法Paxos,如何变得平易近人?

Paxos(分布式一致性算法)作为分布式系统的基石,一直都是计算机系统工程领域的热门话题。Paxos号称是最难理解的算法,其实真的这么困难么?“X-Paxos”是阿里巴巴数据库团队面向高性能、全球部署以及阿里业务特征...
来自: 阿里云 >网站

一起谈.NET技术,基于SQL Server 2008 Service Broker...

1、引言 Microsoft 在SQL Server 2005引入了服务代理(Service Broker 简称SSB) 为技术支持代理设计模式和面向消息的中间件(MOM)的原则。...Broker的分布式架构和Quartz的分布式部署就可以达到系统扩展性。
来自: 阿里云 >网站

2017双11技术揭秘—阿里数据库进入全网秒级实时监控...

数据链路变成由采集Agent到DataHub到分布式文档数据库,监控系统从分布式文档。[](https://img.alicdn.com/tfs/TB1kkKZkm_I8KJjy0FoXXaFnVXa-900-217.png) 采集Agent专注于性能数据采集逻辑,构造统一数据格式,调用...
来自: 阿里云 >网站

创业之初的技术题:如何构建一个较为通用的业务技术...

单机系统的技术组件一般来说分两种,一种是通用的技术组件,比如:数据存储、缓存、消息和调度任务、事务、锁。一种是基础设施,比如spring容器,tomcat容器。下面稍微谈谈通用技术组件。数据存储:数据存储包括关系...
来自: 阿里云 >网站

创业之初的技术题:如何构建一个较为通用的业务技术...

单机系统的技术组件一般来说分两种,一种是通用的技术组件,比如:数据存储、缓存、消息和调度任务、事务、锁。一种是基础设施,比如spring容器,tomcat容器。下面稍微谈谈通用技术组件。数据存储:数据存储包括关系...
来自: 阿里云 >网站

基于SQL Serve“.NET技术”r 2008 Service Broker构建...

1、引言 Microsoft 在SQL Server 2005引入了服务代理(Service Broker 简称SSB) 为技术支持代理设计模式和面向消息的中间件(MOM)的原则。...Broker的分布式架构和Quartz的分布式部署就可以达到系统扩展性。
来自: 阿里云 >网站

Java资源大全中文版(Awesome最新版)

官网 Quartz:强大的任务调度库.官网 应用监控工具 监控生产环境中应用程序的工具。AppDynamics:性能监测商业工具。官网 JavaMelody:性能监测和分析工具。官网 Kamon:Kamon用来监测在JVM上运行的应用程序。官网 ...
来自: 阿里云 >网站

《循序渐进学Spark》Spark架构与集群环境

Spark将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。其底层采用Scala函数式语言书写而成,并且深度借鉴Scala函数式的编程思想,提供与...
来自: 阿里云 >网站
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
云原生分布式数据库PolarDB-X 企业级分布式应用服务 云服务器 商标 负载均衡SLB SSL证书
这些文档可能帮助您
数据迁移或同步方案概览 开始使用EDAS 如何选择分片数 PolarDB-X 1.0定价 实现服务注册与发现 如何选择实例规格

你可能感兴趣

热门推荐

阿里云企业服务平台 陈四清的老板信息查询 上海奇点人才服务相关的云产品 爱迪商标注册信息 安徽华轩堂药业的公司信息查询 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 天籁阁商标注册信息 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 北京芙蓉天下的公司信息查询
阿里云搜索结果解决方案模块_企业级分布式数据库