Mac安装Hadoop2.8.0

前几天试了一下Hadoop,搜了大量网络资料,现在发现有的网络资料太旧了,今天重新写了个,比较简单。

#安装及配置Hadoop
##1.首先安装一下Hadoop

1
brew install Hadoop

##2.配置Hadoop目录下的文件
###1.core-site.xml文件

1
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

###2.hdfs-site.xml

1
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

###3.mapred-site.xml

1
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

mapred-site.xml文件不存在,需要自己创建(可以复制一下mapred-site.xml.template文件再进行修改)

###4.yarn-site.xml

1
2
3
4
5
6
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

#2.运行Hadoop
##1.进入Hadoop的目录,以mac系统为例目录为

1
/usr/local/Cellar/hadoop/2.8.0/libexec

然后格式化文件系统:

1
$ bin/hdfs namenode -format

##2.启动所有进程

1
sbin/start-all.sh

期间输入无数次密码,在此可以设置一下ssh免密码登录。

##3.访问localhost:50070和localhost:8088测试是否正常。