一、准备

基本信息

• 操作系统: Windows10
• jdk版本: 1.8
• Hadoop版本: 2.9.2

下载并解压

• Apache Hadoop: 官网 或者 清华源

• winutils: github/cdarlint

二、配置

环境变量

• 新建系统变量 HADOOP_HOME 至所在目录，如 D:\environment\hadoop-2.9.2

  

• 在 path 中添加 %HADOOP_HOME%\bin 及 %HADOOP_HOME%\sbin 并以 ; (英文分号)与其他项隔开。

  

Hadoop配置文件

均在 %HADOOP_HOME%\etc\hadoop\ 下面:

1. 修改 hadoop-env.cmd ，查找 set JAVA_HOME ，将后面内容改为JDK目录。

   1@rem The java implementation to use.  Required.
   2@rem set JAVA_HOME=%JAVA_HOME%
   3set JAVA_HOME=D:\environment\Java\jdk1.8.0_201
   

2. 修改 core-site.xml

   1<configuration>
   2  <property>
   3    <name>fs.defaultFS</name>
   4    <value>hdfs://localhost:9000</value>
   5  </property>
   6</configuration>
   

3. 修改 hdfs-site.xml

    1<configuration>
    2  <property>
    3    <name>dfs.replication</name>
    4    <value>1</value>
    5  </property>
    6  <property>
    7    <name>dfs.namenode.name.dir</name>
    8    <value>/D:/environment/hadoop-2.9.2/data/namenode</value>
    9  </property>
   10  <property>
   11    <name>dfs.datanode.data.dir</name>
   12    <value>/D:/environment/hadoop-2.9.2/data/datanode</value>
   13  </property>
   14</configuration>
   

4. 修改 yarn-site.xml

   1<configuration>
   2  <property>
   3    <name>yarn.nodemanager.aux-services</name>
   4    <value>mapreduce_shuffle</value>
   5  </property>
   6</configuration>
   

winutils

把之前下载的 winutils 解压，找到对应版本，将内容覆盖到 hadoop-2.9.2\bin 中。

格式化namenode

以管理员权限启动命令行，运行 hdfs namenode -format ，这项命令只用在第一次启动前执行。如果结果中看到有 successfully ，说明以上配置成功。

三、测试

以管理员权限启动命令行，如果之前没有在 path 中配置 sbin ，那么 cd 至 %HADOOP_HOME%\sbin 中，运行 start-all 启动，出现以下四个窗口：

即对应运行 jps 显示以下五个进程名称：

访问 http://localhost:8088 查看集群状态：

访问 http://localhost:50070 查看Hadoop状态：

命令行运行 stop-all 关闭。