开源大数据处理技术-圈子-云栖社区-阿里云
我们都知道Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。而如何将Hadoop生态系统应用到电商中呢？本文就为大家分享。20160808北京云栖大会workshop-EMapReduce分析网站数据 ...
专有云解决方案_阿里云
企业级分布式应用服务是企业级互联网架构解决方案的核心产品，充分利用阿里云现有资源管理和服务体系，引入中间件成熟的整套分布式计算框架（包括分布式服务化框架、服务治理、运维管控、链路追踪和稳定性组件等），...
移动APP解决方案_移动网络加速_移动推送_移动数据分析...
全球领先的SaaS性能测试平台，具有强大的分布式压测能力，可模拟海量用户真实的业务场景，让应用性能问题无所遁形。点击购买 用户在APP端需要及时获取验证信息，使用 移动推送，多通道支持保证推送高到达率，后台API...
全链路数据处理工具_数据挖掘_大数据-阿里云
需要二次开发，后期扩展难，普遍不支持分布式数据存储与计算平台，例如Hadoop。与传统工具相比，采云间在产品形态上有比较大的区别。SaaS化，所有产品都在云端部署，不需要本地安装。提供统一的数据工作台，通过应用...
云栖大会议程_2016杭州大会资料介绍_大会专场内容ppt_...
13:30-13:40 开场 郭雪梅 阿里云云栖社区总编 13:40-14:20 我看分布式系统架构设计和阿里实践 林伟 阿里云大数据计算平台资深架构师 14:20-15:00 容器时代的架构设计—蚂蚁ACS设计实践 吴峥涛 蚂蚁金服高级技术专家 ...
网络性能测试工具_测试性能工具_网络设备性能测试工具...
全球领先的SaaS性能测试平台，具有强大的分布式压测能力，可模拟海量用户真实的业务场景，让应用性能问.了解更多 移动测试 移动测试（Mobile Testing）是为广大企业客户和移动开发者提供真机测试服务的云平台，拥有...
2016云栖大会北京-大会议程-阿里云
中高危漏洞频繁爆发，每次爆发后，都有大规模利用。除了Web入侵，网站也面临着黑客、竞争对手恶意CC攻击的风险。在云上，如何利用好云上安全模块，玩转云上Web安全？门票已售罄 团队购买更优惠， 5张以上享9折，10张...
基于Hadoop集群的大规模分布式深度学习
Caffe-on-Spark让我们集Caffe与Spark二者之长处，将其应用于大规模深度学习，使深度学习任务如其它Spark应用一样易于操作。集群中的多个GPU被用于训练基于HDFS大规模数据集的模型。性能测试 Caffe-on-Spark支持（a）...
阿里首次揭秘扛过双11的千亿级特征分布式机器学习平台...
在分布式规模方面，大规模特征下给Server的存储和分布式计算性能带来巨大压力。举例来说，1万亿个32位float浮点数就需要3.63TB的存储空间，再加上需要保留的历史梯度等，往往需要300到600台server才能使各个进程的...
阿里首次揭秘扛过双11的千亿级特征分布式机器学习平台...
在分布式规模方面，大规模特征下给Server的存储和分布式计算性能带来巨大压力。举例来说，1万亿个32位float浮点数就需要3.63TB的存储空间，再加上需要保留的历史梯度等，往往需要300到600台server才能使各个进程的...
如何解决大规模机器学习的三大痛点？
在分布式规模方面，大规模特征下给Server的存储和分布式计算性能带来巨大压力。举例来说，1万亿个32位float浮点数就需要3.63TB的存储空间，再加上需要保留的历史梯度等，往往需要300到600台server才能使各个进程的...
性能魔方：大规模企业该如何应对应用性能挑战
在7月7日的云栖TechDay活动上，来自性能魔方的朱渝苏给大家分享了《大规模企业应用性能管理实践》话题。朱渝苏从应用性能的挑战和应对策略、大型互联网公司的优化实践、性能魔方优化实践与案例三个部分展开了本次...
Bigtable：一个分布式的结构化数据存储系统
BigTable集群通常运行在一个共享的机器池中，池中的机器还会运行其它的各种各样的分布式应用程序，BigTable的进程经常要 和其它应用的进程共享机器。BigTable依赖集群管理系统来调度任务、管理共享的机器上的资源、...
运维改革探索(二)：构建可视化分布式运维手段
既包括了软、硬件基础设施日志数据，也包括各类应用服务的日志数据，这两类日志数据通过主机和分布式软件代理服务、分布式消息采集服务和分析服务处理后，以流数据的方式转给大数据平台和报表平台： 分布式数据(应用...
运维改革探索(二)：构建可视化分布式运维手段
既包括了软、硬件基础设施日志数据，也包括各类应用服务的日志数据，这两类日志数据通过主机和分布式软件代理服务、分布式消息采集服务和分析服务处理后，以流数据的方式转给大数据平台和报表平台： 1&分布式数据...
浅谈分布式存储系统Pangu2.0——它让双11运维变得智能...
性能和稳定性全面超越竞品，今年合作磨合非常顺利，明年大规模的存储计算分离，「离在线」和「在离线」混部会大力推进。3.分析型数据库：pangu2.0 非常靠谱，相比同规格的物理盘，为分析型数据库带来至少10%的性能...
独家揭秘：阿里巴巴Zeus资源调度系统
我们的使命：做分布式架构基础设施，建设支撑百万笔交易的分布式架构能力，建设支撑百万台服务器和超万个系统的服务能力& 我们的愿景：打造世界一流的中间件产品，打造世界一流的高可用架构基础设施，打造世界一流的...
企业级云应用平台的实践和思考
同时支持分布式运维任务执行管理、软件仓库管理等。开发这个系统是在2012年，当时社区还没有好成型的类似系统，尤其是没有统一的业界认可的软件分发格式。所以我们自己基于RPM等格式定义了一套软件包格式和描述语言...
浅谈公安大数据的建设
1.PB级数据存储管理：信息化建设在推进，数据规模随之飞速增长，为了满足大规模数据的存储和分析，大数据存储系统应支持单一系统扩展至10PB以上规模，以满足未来数据爆发的存储需要 2.多种数据类型与协议支持：公安...
面向容器技术资源调度关键技术对比（作者：阿里中间件...
总结：数据也就是资源状态以及调度分布数据，持久化DB还是Paxos协议实现的分布式事务存储，没有最好，只有更好。不过，提供API查询，特别是页面可视化操作，都是必须的。有时候对资源分配的结果，也是需要可解释的，...
大数据流式计算的应用特征和技术挑战
集中式体系结构对于大数据流式计算系统往往很难满足其可扩展性的需要，人们往往会优先采用分布式体系结构来构建流式计算系统，这样可以可扩展地适应数据流压力的动态变化，灵活地进行系统的伸展和收缩，实现对相关...
技术与架构，解析如何将大数据最快落地到实践
无庸 阿里云高级技术专家 嘉宾简介：阿里云大数据计算服务MaxCompute框架负责人、高级技术专家，专注于高可用大规模分布式系统的平台开发。演讲议题：高可用大数据计算平台如何持续发布和演进 直播时间：3月9日 16:...
云计算技术发展的六大趋势
在大规模分布式存储技术中，基于块设备的分布式文件系统适用于大型的、海量数据的云计算平台，它将客户数据冗余部署在大量廉价的普通存储上，通过并行和分布式计算技术，可以提供优秀的数据冗余功能。且由于采用了...
软件和信息技术服务业发展规划（2016-2020年）正式...
围绕网络化软件由并跑到领跑发展战略目标，突破虚拟资源调度、大规模并行分析、分布式内存计算等核心技术，引导骨干企业加快研发面向云计算、移动互联网、物联网的操作系统、数据库系统、新型中间件和办公套件。...
阿里云机器学习平台编程模型演进之路
由于MPI计算任务通过底层分布式调度系统动态调度到不同机器上，而跑MPI任务时需要提前知道MPI任务需要运行相应host名字，所以我们对MPI底层网络拖口建立进行了重构，以此适配分布式调度系统。目前PAI机器学习上，...
公安大数据应用研究
与此同时，我国公安信息化建设发展迅猛，公安市场大规模的信息化和装备投资产生了海量的结构化和非结构化数据，包括轨迹信息、工作信息、多媒体信息等。据不完全统计，截至2015年底，全国公安机关掌握的数据资源已达...
云计算趋势：数据中心向整合化发展
在大规模分布式存储技术中，基于块设备的分布式文件系统适用于大型的、海量数据的云计算平台，它将客户数据冗余部署在大量廉价的普通存储上，通过并行和分布式计算技术，可以提供优秀的数据冗余功能。且由于采用了...
《企业迁云实战》——3.3 应用架构设计
此外，EDAS还创新性地提供了分布式系统链路追踪、容量规划、数据化运营等多款组件，可以帮助企业级客户轻松构建大型分布式应用服务系统。在复杂的云环境下，应用发布与管理变得十分复杂。本地开发完成的应用需要逐个...
浅谈云计算在大型企业研发信息化中的应用
再例如有些应用需要低延迟互联进行大规模分布式并行求解，则千兆以太网不能获得理想的并行效率。还例如有些软件在运行过程中需要持续读写磁盘系统，普通的NFS等文件系统就成为系统性能的瓶颈。2、选择适合自身的计算...
智慧城市建设的关键技术研究
成为物品的一部分，因此传感器不仅要微型化，而且这样微型化的节点不但要拥有相当的处理能力，还需要能耗低，然而这样小型高性能的传感器目前只能用于尖端的领域，尚无法大规模应用。其二，通信网络技术瓶颈。如何...
2016年中国智能交通产业的大数据应用分析
云计算集群是一种M/S架构的分布式计算系统，Master作为调度管理服务器，负责计算任务分解与调度、计算资源统一管理。Slave则由大量的计算服务器组成，负责完成Master下发的计算任务。5、海量数据检索 基于行业数据...
DC/OS关键技术与应用场景
较1代MapReduce的设计思路，Yarn将JobTracker两个主要的功能，即资源管理和任务调度/监控，分解为独立组件资源管理器和应用管理节点。资源管理器全局管理所有应用程序计算资源的分配，每一个应用的应用管理节点负责...
智能存储大道之行
通过云存储、私有云、微服务三大组件的构建和有机融合，CNTV媒体融合云已经形成了可按需调度、灵活缩放的IT资源及服务基础架构，实现弹性分布式计算、海量存储空间和广泛覆盖的内容分发网络，有力保障产品开发和业务...
电商基础架构建设之路
2016年，在Elastic-Job基础上，结合Mesos，开发Elastic-Job-Cloud，这已经是采用容器领域最新技术，实现资源自动管理调度的智能作业云平台，投入大规模使用将极大的降低服务器资源浪费，体现云计算的价值。...
SOA、网格计算、云计算与P2P技术
它强调多机构之间大规模的资源共享和合作使用，提供了资源共享的基本方法，而分布计算技术没有提供多组织之间的资源共享通用框架，以Client/Server为主要的交互形式，传统企业计算技术集中在一个组织内的资源共享。...
梳理上半年光伏产业发展三大看点
上述业内专家向记者表示，如果说“十二五”光伏行业最主要任务是扩大规模，那么“十三五”期间单方面扩大规模会放到次要位置，最主要是要通过推动技术进步，降低度电成本，扩大多元化应用。很显然，随着技术的不断...
技术、架构、实施与应用》一2.2 大数据职位构建体系
大数据相关的技术组件包括分布式存储（结构化与非结构化）、缓存、查询、计算（实时与离线）、监控与管理、资源调度等，为了保障各技术开发的专业性，一般以开发工作的内容进行划分：Hadoop开发工程师（离线计算）、...
技术、架构、实施与应用》——2.2 大数据职位构建...
大数据相关的技术组件包括分布式存储（结构化与非结构化）、缓存、查询、计算（实时与离线）、监控与管理、资源调度等，为了保障各技术开发的专业性，一般以开发工作的内容进行划分：Hadoop开发工程师（离线计算）、...
《机器人操作系统ROS原理与应用》——2.1 大数据组织...
大数据相关的技术组件包括分布式存储（结构化与非结构化）、缓存、查询、计算（实时与离线）、监控与管理、资源调度等，为了保障各技术开发的专业性，一般以开发工作的内容进行划分：Hadoop开发工程师（离线计算）、...
上半年光伏产业看点多：中东部户用井喷 西北弃光率同...
上述业内专家向记者表示，如果说“十二五”光伏行业最主要任务是扩大规模，那么“十三五”期间单方面扩大规模会放到次要位置，最主要是要通过推动技术进步，降低度电成本，扩大多元化应用。很显然，随着技术的不断...
何鸿凌：电信行业大数据应用案例的实践及思考
MPP是将传统分布式数据库的理论运行在X86上的实践，用列存、内存和副本等进行了优化。MPP基本可以替代传统DW，但在大数据时代，还是有挑战。那就是由于它精确地进行数据分布的原因，可扩展性和高可用比较难以达到。...
阿里大规模计算平台的自动化、精细化运维之路
还有一块是资源不均衡，可能那个集群早上忙一点，那边是下午忙一点，但是因为计算任务依赖下面大规模底层数据，所以你不可能利用长传带宽直接来进行直读直写的计算，因此要考虑应用的合理布局。自动化平台建设 关于...
工信部：大数据产业发展规划（2016-2020年）
推进大数据与云计算服务模式融合，促进海量数据、大规模分布式计算和智能数据分析等公共云计算服务发展，提升第三方大数据技术服务能力。推动大数据技术服务与行业深度结合，培育面向垂直领域的大数据服务模式。专栏...
工信部：大数据产业发展规划（2016-2020年）
推进大数据与云计算服务模式融合，促进海量数据、大规模分布式计算和智能数据分析等公共云计算服务发展，提升第三方大数据技术服务能力。推动大数据技术服务与行业深度结合，培育面向垂直领域的大数据服务模式。专栏...
基于阿里云数加平台，袋鼠云助力光伏发电企业进行光伏...
固德威产品立足中国，并已大规模销往澳大利亚、德国、英国、法国、荷兰、比利时、丹麦、希腊、土耳其、印度、马来西亚、南非、墨西哥、巴西等三十多个国家，产品被广泛应用于住宅、商用屋顶系统以及光伏电站项目，其...
云计算的应用解决方案
大数据、智能知识库、分布式计算等应用软件，以及定制化云计算解决方案，构成完整的上下游和中间平台完备的云生态产业链。3、云计算技术原理 由于云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决...
安徽省可再生能源发展“十三五”规划
在可再生能源资源分布分散区域，因地制宜推进资源开发多元化，大力推动可再生能源分布式应用，形成集中开发与分散利用并举的新格局。坚持惠民利民与产业发展相结合。围绕打赢脱贫攻坚战，结合太阳能、水电等可再生...
从0到15万，回望京东容器集群的3年建设之路
京东商城基础平台部集群技术部副总监，运营多个中大规模IaaS集群，包括京东公有云、私有云、混合云等产品，在OpenStack研发&性能优化、自动化部署、KVM、Docker、分布式系统等方面有深厚的实践经验。曾在土豆网、...
中科院院士梅宏用哪5个字描绘了云计算的未来?
软件即服务(SaaS)概念的提出催生了SOA体系，用于实现松耦合的分布式应用，应用建设依赖于互联网上的“粗粒度”服务，业务处理功能分散存在于互联网上;而云计算的新发展正在催生SaaS 2.0，各种服务应用充分利用云提供...
【14点正式开始】技术与架构，解析如何将大数据最快...
无庸 阿里云高级技术专家 嘉宾简介：阿里云大数据计算服务MaxCompute框架负责人、高级技术专家，专注于高可用大规模分布式系统的平台开发。演讲议题：高可用大数据计算平台如何持续发布和演进 直播时间：3月9日 16:...
数加·DataWorks_阿里云大数据处理研发平台_大数据研发
经过阿里
大规模业务锤炼而成的基础的聚类、回归类等算法与文本分析、特征处理等复杂算法。 支持主流深度学习框架 包含Tensorflow、Caffe、MXNet三款主流的机器学习框架，底层提供M40型号的GPU卡进行训练。 适合于大数据数仓
建设的平台 阿里集团 ...
查看帮助文档>
ET城市大脑_大规模网络AI信号优化
阿里云ET城市大脑、ET城市大脑、
大规模网络AI信号优化、阿里云ET、人工智能算法、人工智能
软件、人工智能技术、人工智能产品 阿里云ET城市大脑为你提供城市智能交通解决方案，欢迎大家使用阿里云ET城市大脑
大规模网络AI信号优化 全球首创基于强化学习的 ...
分布式关系型数据库服务DRDS_平滑扩缩容_分布式数据库服务_云数据库服务_价格 - 阿里云
DRDS，
分布式关系型数据库服务，平滑扩缩容DRDS，中间件产品，DRDS价格，DRDS购买 DRDS（ Distributed Relational Database Service）专注于解决单机关系型数据库扩展性问题，具备轻量(无状态)、灵活、稳定 ...
查看帮助文档>
价格>
阿里云 - 上云就上阿里云
云端
应用服务 基础
软件 预装PHP 预装JAVA 预装ASP/.NET 预装建站系统 服务器
软件
应用开发工具 网站
建设 网站模板 企业官网 电子商务 定制化服务 推广与营销 手机网站 服务与培训 故障排查 数据迁移 环境配置 云培训与认证 木马病毒查杀 ...
接入EDAS,Spring Cloud应用管理不再难-阿里云
，比如 EDAS （企业级
分布式
应用服务 EDAS 提供
应用生命周期管理和微服务解决方案）。这样开发人员不再需要考虑自动部署、
调度、资源管理、
应用监控，服务治理等等问题。 EDAS 是一个围绕
应用和微服务的 PaaS 平台 应⽤发布运维 覆盖：应⽤全⽣命 ...
阿里云众包平台_软件开发_服务器运维_网络营销推广服务应有尽有
软件项目外包，
软件众包，商标众包，企业网站
建设，阿里云众包平台，阿里云众包官网 阿里云众包平台，是阿里云提供给产品、技术与服务商进行交易的网络平台。客户可以在阿里云众包平台免费发布网站制作、网站
建设、网站开发、网站设计、手机网站制作、手机
软件开发、办公 ...
数据库和应用迁移 ADAM_数据库迁移_数据迁移_数据上云_应用迁移上云 - 阿里云
互联网创新业务驱动的团队。 能够解决 评估分析 波司登的IT系统，基本上都是基于“IOE”
建设，有的
应用系统运行了好多年。随互联网业务的高速发展，数据库的访问压力越来越大。集中化的Oracle数据库无法支撑新的互联网业务，必须引入云计算 ...
查看帮助文档>
数加产品首页-大数据-阿里云
设计器、数据管理和离线
调度系统组成，为您提供拖拽式工作流开发界面、离线
任务
调度运维、快速数据集成、多人协同工作等功能。 免费 ，自动、高效、安全地开发数据 查看详情 免费体验 主要功能： · 数据开发 提供一个可视化的业务流程设计器，支持多种 ...
中间件首席专家服务_分布式架构设计_专家服务_支持与服务 - 阿里云
中间件首席专家服务，沈询，阿里云中间件首席专家，阿里云沈询团队 阿里云中间件首席专家沈询团队，在
分布式架构设计、构建高性能和高稳定性的大型
应用系统方面，具有丰富的经验。多年负责天猫双11技术保障工作，为阿里巴巴集团业务群提供过专业高效的服务。 支持与服务 ...
ARMS全新推出应用监控-阿里云
。 业务实时监控（ARMS） 全新推出
应用监控 业界领先 APM 功能，高效监控
大规模
分布式
应用，完成性能监控、接口监控、业务全息排查等 免费开通 产品详情 基于 ARMS
应用监控 您可以 快速浏览某段时间，各微服务
应用之间的网络拓扑和调用信息 针对某类 ...
应用实时监控服务ARMS_秒级业务监控_实时运维监控_实时监控大屏_实时销售监控 - 阿里云
Prometheus监控三大子产品，涵盖了浏览器，小程序，APP，
分布式
应用和容器环境等性能管理，能帮助你实现全栈式的性能监控和端到端的全链路追踪诊断， 让
应用运维从未如此轻松高效。 15天免费试用 15天免费试用 购买资源包
应用监控资源包 前端监控资源包 ...
查看帮助文档>
云效_DevOps_敏捷开发_项目管理_研发效能_运维监控_持续交付_研发管理-阿里云
软件运行所需资源、环境和中间件服务，提供变更、发布、监控和运维等
应用全生命周期管理服务。 交付管理 多人协作开发集成、多种编程语言构建打包和
分布式集群部署发布等服务；轻松搭建从代码提交、集成、构建到测试环境、预发环境、线上环境部署发布验证的持续交付流水线 ...
查看帮助文档>
云数据库OceanBase_分布式数据库_云数据库服务_关系型数据库服务器 - 阿里云
最小的迁移成本使用高性能、可扩展、持续可用的
分布式数据库服务，同时对用户数据提供金融级可靠性的保障。 管理控制台 现面向受邀的企业客户开放测试 产品概述 产品功能
应用场景 帮助与文档 全部产品 产品概述 云数据库 OceanBase 是一款高性能、分布式 ...
查看帮助文档>
网络漏洞扫描系统_漏洞扫描工具_网站漏洞扫描_web漏洞扫描软件 - 阿里云
网络漏洞扫描，漏洞扫描系统，漏洞扫描
软件，网站漏洞扫描工具，web漏洞扫描工具 阿里云网络漏洞扫描系统，提供漏洞扫描服务，通过自动化的资产发现，全面深度检测企业暴露在互联网边界上的安全风险。 网站威胁扫描系统 结合情报大数据、白帽渗透测试实战经验和深度 ...
查看帮助文档>
- 产品推荐
- 这些文档可能帮助您