0%

YARN集群搭建

发表于 分类于
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

本文主要是记录集群搭建流程，具体细节较为简略

一、YARN简介

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

二、集群规划

主机名 作用
hadoop11 NameNode & DataNode & NodeManager
hadoop12 DataNode & ResourceManager & NodeManager
hadoop13 NameNode & DataNode & NodeManager

三、搭建集群

  1. 修改主机名以及host映射并重启机器
  2. 配置ssh免密登录
  3. 配置JAVA环境变量
  4. 安装Hadoop
    (1). 修改hadoop-env.sh
    (2). 修改core-site.xml
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop11:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/zhangjia/hadoop-2.9.2/data</value>
        </property>
    </configuration>

(3). 修改hdfs-site.xml
不需要修改，默认配置即可
(4). 修改mapred-site.xml

1
2
3
4
5
6
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(5). 修改yarn-site.xml

1
2
3
4
5
6
7
8
9
10
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop12</value>
    </property>
</configuration>

(6). 配置slaves文件

1
2
3
hadoop11
hadoop12
hadoop13

(7). 格式化NameNode

1
hdfs namenode -format

(8). 启动HDFS集群

1
start-dfs.sh

(9). 启动YARN集群(只可以在ResourceManager节点启动)

1
start-yarn.sh

(10). 可以在 http://hadoop12:8088查看当前YARN启动情况