在Windows环境下安装Hadoop 3.1.2版本

2,741 views

apache官网下载3.1.2版本的Hadoop二进制发布包。

  • 解压至本地D:\BigData\hadoop-3.1.2
  • 创建HDFS的数据目录,如下:
    • D:\BigData\data\hdfs\namenode
    • D:\BigData\data\hdfs\datanode
  • 创建日志目录D:\BigData\logs\hadoop
  • 创建临时文件目录D:\BigData\tmp\hadoop
  • 将目录D:\BigData\hadoop-3.1.2\etc复制到D:\BigData下。
  • 将目录D:\BigData\hadoop-3.1.2\libexec复制到D:\BigData下。
  • 将JDK目录放到D:\BigData下,即D:\BigData\jdk1.8.0_201
  • D:\BigData下,创建环境变量配置脚本,内容如下:
@echo off
set GIT_HOME=D:\Program Files\Git
set PATH=%GIT_HOME%\bin;%PATH%

set BIGDATA_ROOT=D:\BigData

set JAVA_HOME=%BIGDATA_ROOT%\jdk1.8.0_201
set PATH=%JAVA_HOME%\bin;%PATH%

set HADOOP_HOME=%BIGDATA_ROOT%\hadoop-3.1.2
set HADOOP_BIN=%HADOOP_HOME%\bin
set PATH=%HADOOP_BIN%;%PATH%

set HADOOP_SBIN=%HADOOP_HOME%\sbin
set PATH=%HADOOP_SBIN%;%PATH%

set HADOOP_BIN_PATH=%HADOOP_BIN%

set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%BIGDATA_ROOT%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%

set HADOOP_PID_DIR=%BIGDATA_ROOT%\tmp\hadoop
set HADOOP_LIBEXEC_DIR=%BIGDATA_ROOT%\libexec\hadoop\libexec

set HADOOP_LOG_DIR=%BIGDATA_ROOT%\logs\hadoop
set HADOOP_LOGFILE=hadoop.log
  • 将二进制文件,hadoop.dllhdfs.dllwinutils.exezlib1.dll放到%HADOOP_BIN%下。
  • 修改配置文件%HADOOP_CONF_DIR%\core-site.xml
<configuration>
   <property>
     <name>fs.default.name</name>
     <value>hdfs://0.0.0.0:19000</value>
   </property> 
</configuration>
  • 修改配置文件%HADOOP_CONF_DIR%\hdfs-site.xml
<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
   <property>
      <name>dfs.namenode.name.dir</name>
      <value>/BigData/data/hdfs/namenode</value>
   </property>
   <property>
      <name>dfs.datanode.data.dir</name>
      <value>/BigData/data/hdfs/datanode</value>
   </property>
</configuration>
  • 修改配置文件%HADOOP_CONF_DIR%\mapred-site.xml
<configuration>
   <property>
      <name>mapreduce.job.user.name</name>
      <value>%USERNAME%</value>
   </property>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
   <property>
      <name>yarn.apps.stagingDir</name>
      <value>/user/%USERNAME%/staging</value>
   </property>
   <property>
      <name>mapreduce.jobtracker.address</name>
      <value>local</value>
   </property>
</configuration>
  • 修改配置文件%HADOOP_CONF_DIR%\slaves,如果不存在,则创建。内容如下:
localhost
  • 格式化Name Node,执行如下命令
hdfs namenode -format
  • 启动服务,执行如下命令
start-all.cmd

参考资料



若非注明,均为原创,欢迎转载,转载请注明来源:在Windows环境下安装Hadoop 3.1.2版本

关于 JackieAtHome

基层程序员,八年之后重新启航

此条目发表在 大数据, 笔记 分类目录,贴了 , 标签。将固定链接加入收藏夹。