首页 > 网络 > 云计算 >

hadoop环境的搭建实例

2017-04-04

hadoop环境的搭建实例:1 安装linux虚拟机 node1,node2,node3(centos6 7)。

hadoop环境的搭建实例:1.安装linux虚拟机 node1,node2,node3(centos6.7)。

2.修改ip

设置静态ip

编辑网卡文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0

设置网卡eth0的IPV4信息,需要注意的是,设置的IPADDR需要和局域网中其他机器处于同一网段。需设置容如下:

DEVICE=eth0

BOOTPROT=static

IPADDR=192.168.1.101

GATEWAY=192.168.1.1

NETMASK=255.255.255.0

ONBOOT=yes

网卡文件内容示例说明:

DEVICE=eth0 //指出设备名称

BOOTPROT=static //启动类型 dhcp|static

BROADCAST=192.168.1.203 //广播地址

HWADDR=00:06:5B:FE:DF:7C //硬件Mac地址

IPADDR=192.168.0.2 //IP地址

NETMASK=255.255.255.0 //子网掩码

NETWORK=192.168.0.0 //网络地址

GATEWAY=192.168.0.1 //网关地址

ONBOOT=yes //是否启动应用

TYPE=Ethernet //网络类型

重启网卡

service network restart

重启网卡时,shell中可能会有重新配置IP的相关信息出现在shell中。

通过ping局域网中其他主机的IP来测试配置是否成功

ping 192.168.1.10

3.修改主机名

/etc/hostname

4.防火墙

service iptables stop关闭

chkconfig iptables off 开机不自启动

5.安装jdk(其中/etc/profile中需要配置home变量)

Javahome配置

export JAVA_HOME=/home/java/jdk1.7.0_80

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

profile最后加上

export HADOOP_INSTALL=/usr/hadoop

export PATH=${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin${PATH}

export HADOOP_MAPRED_HOME=${HADOOP_INSTALL}

export HADOOP_COMMON_HOME=${HADOOP_INSTALL}

export HADOOP_HDFS_HOME=${HADOOP_INSTALL}

export YARN_HOME=${HADOOP_INSTALLL}

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_INSTALL}/lib/natvie

export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib:${HADOOP_INSTALL}/lib/native"

通过xshell将jdk压缩文件传到虚拟机

具体步骤与问题在linux文档中

6.安装hadoop

将文件解压到虚拟机的一个路径下,进行配置,

系统环境需要配置hadoop的path

在单机伪分布式配置教程的最后,说到可以将 Hadoop 安装目录加入 PATH 变量中,这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了,如果还没有配置的,需要在 Master 节点上进行配置。首先执行vim ~/.bashrc,加入一行:

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

如下图所示:

保存后执行source ~/.bashrc使配置生效。

7.一系列的配置主从节点

1.Hosts文件,都必须改,注释掉以前的,加入主从节点映射

2.文件slaves,写上数据节点的主机名,由于主节点做namenode用,所以不用加上

3.配置如下文件,.sh里只是 配置了java_home,.xml文件按照具体路径名字修改

4.配置好后,将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式,建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行:( scp -r /usr/local/hadoop/hadoop root@node3:/usr/local/hadoop/hadoop

)

cd /usr/local

sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件

sudo rm -r ./hadoop/logs/* # 删除日志文件

tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制

cd ~

scp ./hadoop.master.tar.gz Slave1:/home/hadoop

5.首次启动需要先在 Master 节点执行 NameNode 的格式化:

hdfs namenode -format # 首次运行需要执行初始化,之后不需要

6.接着可以启动 hadoop 了,启动需要在 Master 节点上进行:

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

stop-dfs.sh

stop-yarn.sh

主节点显示

子节点显示

分布式集群搭建完成。
相关文章
最新文章
热点推荐