【大数据运维】Hadoop开启Yarn的日志监控功能
1.开启JobManager日志（1）编辑NameNode配置文件${hadoop_home}/etc/hadoop/yarn-site.xml和mapred-site.xml编辑yarn-site.xml<!-- Site specific YARN configuration proper...
【大数据开发运维解决方案】hadoop+kylin安装及官方cube/steam cube案例文档
对于hadoop+kylin的安装过程在上一篇文章已经详细的写了，请读者先看完上一篇文章再看本本篇文章，本文主要大致介绍kylin官官方提供的常规批量cube创建和kafka+kylin流式构建cube（steam cube）的操作过程，具体详细过程请看官方文档。1、常规cube创建案例[root@...
【大数据开发运维解决方案】hadoop fs常用命令案例解释
前言本文主要介绍一下 hadoop fs 常用得命令参数选项，用案例做一下测试，给自己和大家一个例子介绍！一、hadoop fs常用命令参数列表我们可以通过hadoop fs看一下目前有哪些命令可以使用：[root@s133062 ~]# hadoop fs Usage: hadoop fs [ge...
hadoop日常运维白皮书
hadoop日常运维与升级总结 ▲进程管理由于配置文件的更改，需要重启生效，或者是进程自己因某种致命原因终止，或者发现进程工作出现异常等情况下，需要进行手动进程的关闭或启动，或者是增删节点过程中的需要，进程的关闭与启动，使用hadoop-daemon.sh start| stop datanode/...
Hadoop集群日常运维
（一）备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它...
Hadoop运维操作
1. 处理hadoop的namenode宕机 处理措施： 进入hadoop的bin目录，重启namenode服务 操作命令： cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode 2...
Elasticsearch hadoop使用示例 & 运维实战之集群规划 &presto-elasticsearch connector
elasticsearch-hadoop使用示例 在elasticsearch-hadoop的具体使用中碰到了几个问题，有必要记录一下，避免下次遇到时又要重新研究。 利用spark读取es数据源的简单示例 import org.elasticsearch.spark.sql._ val esOpti...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
