Hadoop伪分布式搭建（hadoop2.x通用）

Hadoop伪分布式搭建

1. 先关闭防火墙（建议）

2. 配置免密钥

3. 解压安装jdk和hadoop并配置环境变量

4. 配置core-site.xml

5. 配置hdfs-site.xml

6. 配置mapred-site.xml

7. 配置yarn-site.xml

8. 配置slaves文件

9. 格式化hdfs

10. 启动集群并验证环境是否成功搭建

10.1 启动hdfs

10.2 启动yarn

先说下我的环境 centos7.6（64位）安装包准备： jdk-8u231-linux-x64.tar.gz hadoop-2.6.5.tar.gz

如果读者使用的是 ubuntu 或者其他 linux 版本，思路和本文一样，只不过命令略有出入。

1. 先关闭防火墙（建议）

执行 systemctl stop firewalld.service

# 查看是否防火墙是否关闭
[root@lft soft]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

2. 配置免密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. 解压安装jdk和hadoop并配置环境变量

（1）解压jdk并配置环境变量 tar -xf jdk-8u231-linux-x64.tar.gz

[root@lft jdk1.8.0_231]# pwd
/root/soft/jdk1.8.0_231
[root@lft jdk1.8.0_231]# vim /etc/profile

# 在文件末尾追加
export JAVA_HOME=/root/soft/jdk1.8.0_231
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:. 
PATH=$PATH:$JAVA_HOME

# 使配置生效
[root@lft jdk1.8.0_231]# source /etc/profile
# 查看成功没有
[root@lft jdk1.8.0_231]# java -version
openjdk version "1.8.0_262"
OpenJDK Runtime Environment (build 1.8.0_262-b10)
OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)

（2）解压hadoop并配置环境变量 tar -xf hadoop-2.6.5.tar.gz

export HADOOP_HOME=/root/soft/hadoop-2.6.5
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（3）二次配置 JAVA_HOME 环境变量

把../xx/hadoop-2.6.5/etc/hadoop/下面的这三个文件里的 JAVA_HOME 的值改成刚刚配置的：export JAVA_HOME=/root/soft/jdk1.8.0_231。

vi hadoop-env.sh
vi mapred-env.sh
vi yarn-env.sh

4. 配置core-site.xml

修改../xx/hadoop-2.6.5/etc/hadoop/下的 core-site.xml文件 vi core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://lft:9000</value>
        <!-- 以上ip地址或主机名要按实际情况修改 -->
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/lft/hadoop/local</value>
    </property>
</configuration>

5. 配置hdfs-site.xml

修改../xx/hadoop-2.6.5/etc/hadoop/下的 hdfs-site.xml文件 vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>lft:50090</value>
        <!-- 以上ip地址或主机名要按实际情况修改 -->
    </property>
</configuration>

6. 配置mapred-site.xml

修改../xx/hadoop-2.6.5/etc/hadoop/下的 mapred-site.xml.template文件先更名，后配置 cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

7. 配置yarn-site.xml

修改../xx/hadoop-2.6.5/etc/hadoop/下的 yarn-site.xml文件 vi yarn-site.xml

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>lft</value>
        <!-- 以上主机名或IP地址按实际情况修改 -->
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

8. 配置slaves文件

修改../xx/hadoop-2.6.5/etc/hadoop/下的 slaves文件

vi slaves

该文件只编辑一行内容即可：lft（localhost也行，我这个改为自己配的主机名）

9. 格式化hdfs

hdfs namenode -format (只能格式化一次，再次启动集群不要执行）

10. 启动集群并验证环境是否成功搭建

10.1 启动hdfs

start-dfs.sh

（1）角色进程查看：jps

帮助： hdfs 
      hdfs dfs

（2）浏览器查看web UI: http://你的IP:50070

10.2 启动yarn

start-yarn.sh

WEB UI 输入 http://你的ip:8088