从Hadoop到自主研发,技术解读阿里去IOE后的系统架构

这个过程中,他们又会遭遇哪些挑战?目标实现后的惊喜又是什么? 优化无极限:盘古Master优化实践。盘古,飞天的分布式文件系统,在内部架构上盘古采用Master/ChunkServer结构,Master管理元数据,ChunkServer负责实际数据读写 ...
来自: 开发者社区 > 论坛 作者: zhengzhengttz 浏览:208 回复:0

facebook海量图片存储系统与淘宝TFS系统比较

和技术突破,不过并非本文焦点,这里主要针对第四层Storage(淘宝的分布式文件系统TFS),对比Haystack,看其是否也解决了long tail问题。下面是TFS的架构概览: 从粗粒度的宏观视角来看,TFS与Haystack的最大区别就是: TFS只 ...
来自: 开发者社区 > 论坛 作者: 安静的小维维 浏览:386 回复:0

蚂蚁金服资深总监韩鸿源:像使用集中式数据库一样使用OceanBase分布式数据库

并且不断从市场中收集反馈优化迭代而成的,而不是关起门自己研究自己用,这些产品已经实际帮助了很多企业业务系统的构建和发展。 图2:分布式架构带来的价值 阿里巴巴每年都有大规模的促销活动,业务驱动了技术的飞速发展,创造了很多世界瞩目的纪录。这些纪录里有很多跟 ...
来自: 开发者社区 > 博客 作者: 平生栗子 浏览:168 回复:0

大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合

Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 下图为flume典型的体系结构 ...
来自: 开发者社区 > 论坛 作者: 香柠1234 浏览:246 回复:10

如何在云平台构建大规模分布式系统

可能一蹴而就设计出一个万般周全的系统,但如果设计之初能更多着眼于未来,就可以为进一步优化留出了余地。 作者介绍 王煜,青云QingCloud 系统研发工程师,原街旁团队创始成员,基础架构负责人,现负责 QingStor 对象存储服务的设计与研发。对 Linux 操作系统、计算机网络、分布式系统、云计算等领域有较深入的研究。九零前,文青程序员,代码诗人,北京土著。 ...
来自: 开发者社区 > 论坛 作者: 家有小美妞儿 浏览:177 回复:0

【上海市】【证大财富】【系统架构师】

技术指导。 职位要求: 1、四年以上大规模分布式系统应用架构设计与研发经验,熟悉Java EE、SOA、微服务等相关技术; 2、 熟悉常用的设计模式,熟悉高并发、高性能的分布式系统的设计及应用、调优; 3、 对各种开源的框架如Spring ...
来自: 开发者社区 > 论坛 作者: candytf 浏览:281 回复:0

图片服务器架构演进

的情况下出现性能问题,稳定性不够友好。OSS存储使用的是阿里云基于飞天5k平台自主研发的高可用,高可靠的分布式文件系统盘古。分布式文件系统盘古和Google的GFS类似,盘古的架构是Master-Slave主从架构,Master负责元数据管理,Sliave ...
来自: 开发者社区 > 论坛 作者: 随意的风 浏览:3116 回复:1

【IT名人堂】专访京东架构师:海量数据的IT架构演变

技术架构开始从集中式系统向简单分布式系统演化。而到了2009年,为了支撑百万到千万级的订单量增长,京东技术架构进入了SOA化阶段。四年以后,随着业务快速发展,京东技术迈入了云和大数据时代,于是乎催生了我们自主研发的京东分布式文件系统JFS,JFS的集群规模 ...
来自: 开发者社区 > 论坛 作者: 汉谟拉比小鸟 浏览:169 回复:9

容错和高性能如何兼得: Flink创始人谈流计算核心架构演化和现状

架构以实现流容错和恢复。 我们测量 Flink 在各种类型的流媒体应用程序中的性能,并通过在 Apache Storm(一种广泛使用的低延迟流处理器)上运行相同系列的实验来进行效果对比。 流式处理架构演化# 在流式计算领域,同一套系统需要同时兼具容错和 ...
来自: 开发者社区 > 博客 作者: 李博bluemind 浏览:91 回复:0

SOA架构的中间件产品意味什么

,帮助用户灵活、高效地开发和集成复杂的应用软件。在众多关于中间件的定义中,比较普遍被接受的是IDC表述的:中间件是一种独立的系统软件或服务程序,分布式应用软件借助这种软件在不同的技术之间共享资源,中间件位于客户机服务器的操作系统之上,管理计算资源和网络通信 ...
来自: 开发者社区 > 论坛 作者: 采访心理学 浏览:232 回复:0

【北京市】【猎头】【系统架构师】

经验,熟练掌握互联网相关技术体系,熟练掌握分布式应用系统的设计和开发体系(包括缓存体系、消息体系,分布式远程调用,面向服务编程等) 7.做过电商大型平台架构者优先 北京市, 猎头, 系统, 架构, 能够 云栖社区小编整理 主要职责: 1. 能够协助业务方梳理 ...
来自: 开发者社区 > 论坛 作者: yokiko5656 浏览:264 回复:0

图片服务架构演进及云存储的优势

,主要是淘宝在用。另外FASTDFS在并发高于300写入的情况下出现性能问题,稳定性不够友好。OSS存储使用的是阿里云基于飞天5k平台自主研发的高可用,高可靠的分布式文件系统盘古。分布式文件系统盘古和Google的GFS类似,盘古的架构是Master ...
来自: 开发者社区 > 论坛 作者: 梦想的1/4 浏览:355 回复:1

大数据架构如何做到流批一体?

主流大数据架构模式及其发展?今天,我们都会一一解读,并介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统,例如金融行业需要使用大数据系统 ...
来自: 开发者社区 > 博客 作者: 技术小能手 浏览:599 回复:0

微服务架构

;的架构。当时使用这种开发模式是可以的。后面随着公司业务的不断扩大,功能也越来越多,代码变得越来越来复杂,这种架构的问题暴露了出来。比如:交付周期越来越长,因为要确定一个需求的修改点越来越困难。测试回归点越来越多,改动一个点,可能会影响到整个系统等等。系统 ...
来自: 开发者社区 > 博客 作者: 无涯wuya 浏览:54 回复:0

DTCC 2019 | 海量数据毫秒级分析的背后——《阿里超大规模实时数仓架构挑战与实践解析》

分层解耦架构,同时将分析计算、数据写入、索引构建等分离为不同节点,同时各种类型节点采用多活运行模式实现高可用,数据存储在盘古分布式文件系统上,实现高可靠和高性能读写I/O,在整体架构上实现了弹性扩展和高可用。 AnalyticDB的整体架构可以分为三层 ...
来自: 开发者社区 > 博客 作者: 七幕 浏览:205 回复:0

后Hadoop时代的大数据架构

系统集合了一个面向列存储的层,一个分布式、shared-nothing的架构,和一个高级的索引结构,来达成在秒级以内对十亿行级别的表进行任意的探索分析。 Berkeley Data Analytics Stack 上面说道Spark,在Berkeley ...
来自: 开发者社区 > 论坛 作者: 以德服人 浏览:238 回复:0

架构师必读:淘宝网采用什么技术架构来实现网站高负载的

问题导读: 1.什么是无状态应用无状态? 2.你是否使用过缓存,缓存对系统架构的影响是什么? 3.数据库压力过大,造成网站崩溃都有什么解决方案? 4.消息中间件产生的原因是什么?这是openstack、hadoop分布式有什么共同点? 5.为什么要安装 ...
来自: 开发者社区 > 论坛 作者: 小铱在成长 浏览:257 回复:1

企业级业务架构设计方法与“中台”概念的比较

以前的“胃口”。 阿里系统要解决的核心问题是高并发、可扩展,也就是说,规模带来的复杂度对阿里而言更具挑战性。因此,业务通过中台进行共享支持后,基础设施必须能够消解这种压力。阿里采用去中心(也就是去 ESB)的 HSF 分布式服务框架 ...
来自: 开发者社区 > 博客 作者: 1168562833233928 浏览:86 回复:0

企业级互联网分布式系统应用架构学习

本课程主要讲解当前网络环境下互联网应用架构设计,课程针对阿里云平台所提供的分步式系统架构支持来分层说明如何搭建一个高可用的应用架构。 讲师介绍: 石立勇,阿里云生态体系首席架构师,致力于阿里云生态体系建设。主要负责阿里云战略合作伙伴的上云解决方案支持,渠道商赋能、合作伙伴培训以及大学合作。 ...
来自: 开发者社区 > 大学 作者: 阿里云大学

企业级互联网分布式系统应用架构学习

本课程主要讲解当前网络环境下互联网应用架构设计,课程针对阿里云平台所提供的分步式系统架构支持来分层说明如何搭建一个高可用的应用架构。 讲师介绍: 石立勇,阿里云生态体系首席架构师,致力于阿里云生态体系建设。主要负责阿里云战略合作伙伴的上云解决方案支持,渠道商赋能、合作伙伴培训以及大学合作。 ...
来自: 开发者社区 > 大学 作者: 阿里云大学
< 2 3 4 5 6 8 >
共有2672页 跳转至:GO
对搜索结果不满意?试试论坛 高级搜索>