首页 > 程序开发 > 软件开发 > 其他 >

Centos 6.x Hadoop集群环境搭建

2017-04-17

Centos 6 x Hadoop集群环境搭建:主机列表,添加用户设置密码。

Centos 6.x Hadoop集群环境搭建:主机列表,添加用户设置密码。
master  ip: 192.168.3.171
slave1  ip: 192.168.3.135
slave2  ip: 192.168.3.136
# 添加用户
useradd hadoop
# 修改密码
passwd hadoop
JDK安装

# 检查当前安装的JDK
rpm -qa|grep gcj
rpm -qa|grep jdk
rpm -e  --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
rpm -e  --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

#查询当前系统中相关java 目录并删除
whereis java
java: /etc/java /usr/lib/java /usr/share/java

#删除查询出的结果目录
rm -fr /usr/share/java
rm -fr /usr/lib/java
rm -fr /etc/java
cd /usr mkdir java cd java wget http://download.oracle.com/otn-pub/java/jdk/8u102-b14/jdk-8u102-linux-x64.tar.gz tar -zxvf jdk-8u102-linux-x64.tar.gz

JAVA_HOME=/usr/java/jdk1.8.0_102 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar export PATH JAVA_HOME CLASSPATH


下载Hadoop
cd /tmp
wget http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
复制文件
cp -R /tmp/hadoop-2.7.3  /usr/hadoop
配置环境变量
vim /etc/profile 
追加以下内容
HADOOP_HOME=/usr/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

修改 etc/hadoop/hadoop-env.sh 文件
vim etc/hadoop/hadoop-env.sh

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_102

修改 etc/hadoop/core-site.xml 文件




        hadoop.tmp.dir
        file:/usr/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://Master:9000
    


修改 etc/hadoop/hdfs-site.xml 文件




        
                dfs.namenode.secondary.http-address
                Master:50090
        
        
                dfs.replication
                1
        
        
                dfs.namenode.name.dir
                file:/usr/hadoop/tmp/dfs/name
        
        
                dfs.datanode.data.dir
                file:/usr/hadoop/tmp/dfs/data
        


修改 etc/hadoop/yarn-site.xml 文件


        
        
                yarn.resourcemanager.hostname
                Master
        
        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        


修改 etc/hadoop/mapred-site.xml 文件


        
                mapreduce.framework.name
                yarn
        
        
                mapreduce.jobhistory.address
                Master:10020
        
        
                mapreduce.jobhistory.webapp.address
                Master:19888
        

修改 etc/hadoop/slaves 文件,添加
192.168.3.135
192.168.3.136
打包文件夹 /usr/hadoop ,复制到 datanode 节点机,保证节点机环境配置与master保持一致格式化文件系统
hdfs namenode -format
启动文件服务

start-dfs.sh
Make the HDFS directories required to execute MapReduce jobs:
创建用户文件系统文件夹

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/hadoop
复制文件本地文件到分布式文件系统 input 下

hdfs dfs -mkdir input
hdfs dfs -put etc/hadoop/*.xml input
执行提供的默认的例子

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
复制分布式文件系统文件到本地系统

hdfs dfs -get output output
cat output/*

或查看分布式文件系统文件内容
hdfs dfs -cat output/*
启动 ResourceManager守护进程和NodeManager守护进程,启动mapResource jobhistory 历史记录服务

start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
分别在各个主机上执行 jps 查看服务情况

[root@Master hadoop]# 
[root@Master hadoop]# jps
10210 Jps
9698 SecondaryNameNode
9864 ResourceManager
9497 NameNode
[root@Master hadoop]# 


[root@Slave1 hadoop]# jps
8071 NodeManager
8279 Jps
7961 DataNode
[root@Slave1 hadoop]# 


[root@Slave2 hadoop]# jps
5266 NodeManager
5155 DataNode
5444 Jps
[root@Slave2 hadoop]# 
[root@Slave2 hadoop]# 
web 访问页面

http://master:50070/

http://master:8088/cluster
停止服务

stop-dfs.sh
stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver
服务备注:

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
相关文章
最新文章
热点推荐