文章 2017-09-04 来自:开发者社区

Hadoop集群环境下网络架构的设计与优化

大数据时代,研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构、优化业务逻辑、优化数据分析算法、优化节点性能等方向,而忽略了大数据环境基础设置中网络环节的评估和优化。本文介绍了思科公司在Hadoop 集群环境下的网络架构设计与优化经验。 大数据Hadoop环境网络特性Hadoop 集群中的各节点通过网络连接起来,而且MapReduce 中的以下过程会在网络中传输数据。 (1)写数据。当.....

问答 2017-05-26 来自:开发者社区

您的负载均衡的后端端口和容器暴露到宿主机上的端口不一致。请检查该集群的负载均衡的后端端口设置和该容器暴露到宿主机的网络端口。

@易立 您的负载均衡的后端端口和容器暴露到宿主机上的端口不一致。请检查该集群的负载均衡的后端端口设置和该容器暴露到宿主机的网络端口。

企业级云上网络构建

10 课时 |
940 人已学 |
免费

专有云网络基础架构介绍

1 课时 |
813 人已学 |
免费

TCP/IP 网络基础

4 课时 |
1116 人已学 |
免费
开发者课程背景图
问答 2017-04-25 来自:开发者社区

为什么E-MapReduce创建集群只能选择专有网络?

如图所示,只有专有网络。

文章 2017-02-26 来自:开发者社区

【Hadoop Summit Tokyo 2016】雅虎日本的大规模Hadoop集群网络

本讲义出自Kai Fukazawa在Hadoop Summit Tokyo 2016上的演讲,主要分享了与Hadoop相关的网络技术,并分享了雅虎日本的网络技术转型发展之路和网络相关的问题以及解决方案,介绍了雅虎日本IP CLOS的网络架构设计以及遇到的挑战以及在未来雅虎日本在网络技术方面的发展计划。

文章 2016-11-01 来自:开发者社区

Pacemaker+Corosync集群与网络故障检测

Pacemaker+Corosync集群中,Corosync负责消息的传递,成员关系以及QUORUM服务,它实现了TOTEM协议确保应用也就是Pacemaker通过Corosync传递的消息是可靠有序的。由于Corosync负责通信,集群中各种网络故障的检测自然也是Corosync的事情。 TOTEM协议的作用和大名鼎鼎的Paxos,Raft一样同属是分布式共识协议。 ...

问答 2016-08-23 来自:开发者社区

用云主机建集群,网络怎么选?

各位大大,小弟想搭建kubernetes集群,来处理高并发的用户数据监护,完全小白,对网络这方面有两个想法: 1. 使用专用网络,假设1台绑定公网IP,开5M的带宽,其余4台做计算node,监护请求和数据接入都在第一台进行,第一台分发计算任务和数据到后面4台node上。 2. 使用经典网络,5台分别绑定公网IP,各开1M带宽,其中一台处理监护请求,并向用户返回计算node,用户数据重定位到后面4....

文章 2016-05-13 来自:开发者社区

用Aliyun E-MapReduce集群的sqoop工具和数据库同步数据如何配置网络

如果您的E-MapReduce集群需要和集群之外的数据库同步数据,需要确保网络是联通的。本文就RDS,ecs自搭,云下私有数据库三种情况,分别介绍如何配置网络。 一.RDS 经典网络RDS 想要访问经典网络RDS,EMR(E-MapReduce,下同)最好也指定用经典网络。 经典网络的RDS 可以设置内网地址和外网地址。由于经典网络EMR集群只有master节点可以访问公网,并且sqoop是用m....

文章 2016-04-17 来自:开发者社区

使用docker compose 测试集群网络连接性

    在docker 集群中部署相互依赖的应用的时候,有时候会出现因为网络问题导致link之间不能互相访问,错误定位比较麻烦。而且目前docker overlay network也能实现容器的跨主机网络互通,因此一套简单易用的compose file来测试当前集群网络各个主机上容器之间是否是互通的也就很有必要。下面我们来演示如何使用compose file在容器服务上部署测试...

文章 2011-04-29 来自:开发者社区

从JAVA多线程理解到集群分布式和网络设计的浅析

由于最近工作原因,很久没有在CSDN上留下些啥,今天在这些篇文章,是关于java多线程的。 对于JAVA多线程的应用非常广泛,现在的系统没有多线程几乎什么也做不了,很多时候我们在何种场合如何应用多线程成为一种首先需要选择的问题,另外关于java多线程的知识也是非常的多,本文中先介绍和说明一些常用的,在后续文章中如果有必要再说明更加复杂的吧,本文主要说明多线程的一下几个内容: 1、在应用开发中什么....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

域名解析DNS

关注DNS技术、标准、产品和行业趋势,连接国内外相关技术社群信息,加强信息共享。

+关注