首页 > 网络 > 云计算 >

Centos7+Hadoop3.0伪分布式环境安装部署

2016-10-21

安装VMware(过程忽略),创建linux虚拟机,配置虚拟机网络(可以百度一下,网上有很多详细的资料过程,后续自己也会总结一下配置过程)。

一:安装准备

1,VMware +CentOS-7-x86_64-Everything-1511.iso(下载地址:http://mirrors.cn99.com/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1511.iso)
2,hadoop-3.0.0-alpha1.tar.gz(下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/)
3,jdk8

二:安装部署

1,安装VMware(过程忽略),创建linux虚拟机,配置虚拟机网络(可以百度一下,网上有很多详细的资料过程,后续自己也会总结一下配置过程)
关闭防火墙,root用户执行: systemctl stop firewalld.service
失效防火墙,root用户执行: systemctl disable firewalld.service
2,linux为hadoop创建用户执行命令 useradd hadoop
\
修改hadoop密码: passwd 123456789
\
3,切换root用户为创建的hadoop用户,创建hadoop相关软件的安装目录
注:在需要root用户权限修改系统文件或参数的时候,最好使用sudo
为hadoop用户增加sudo权限,切换到root用户,修改 vi/etc/sudoers.d
\
4,修改主机名,sudo vi /etc/hostname
\
我将主机名修改为 xingxp-hadoop-133 ,之后在配置hadoop配置文件的时候需要。
增加主机名映射 : sudo vi /etc/hosts
\
5,配置java环境变量
解压 jdk : tar -zxvf jdk-8u91-linux-x64.gz -C app/
\
修改环境变量:sudo vi /etc/profile
\
在末尾增加内容:
\
执行 source /etc/profile 是文件生效。
\
6,安装配置hadoop
解压hadoop-3.0.0-alpha1.tar.gz,执行:tar -zxvf /tmp/hadoop-3.0.0-alpha1.tar.gz -C /home/hadoop/app/
\
配置hadoop环境变量:sudo vi /etc/profile
\
文件末尾增加内容
\
修改相关hadoop目录/home/hadoop/app/hadoop-3.0.0/etc/hadoop下相关hadoop配置文件(标记为必须修改文件):
\
1)hadoop-env.sh hadoop环境变量文件
增加java环境变量,防止不能直接读取系统环境变量
\
2)core-site.xml hadoop核心配置文件,修改如下:
在hadoop安装目录下创建目录:tmp-data ,用与存放namenode,datanode数据,执行:mkdir/home/hadoop/app/hadoop-3.0.0/tmp-data
\
3)hdfs-site.xml 文件系统配置文件,修改如下:
\
4)yarn-site.xml 资源调度配置文件,修改如下:
\
5)mapred-site.xml mapreduce配置,修改如下:
\
7,配置ssh免登陆,否则在启动hadoop的时候报错
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
8,初始化hadoop
执行:hadoop namenode -format 进行初始化
9,启动dfs
执行:start-dfs.sh 启动dfs
查看dfs启动情况 ,执行 :jps
\
如果是集群,多个datanode的话,需要修改配置文件workers,来指定有哪些datanode
\
这里我就配置了一个,如果有多个,可以一次添加(注:使用机器名,之后在hosts文件中做映射)
10,启动yarn
执行:start-yarn.sh ,启动yarn

三:测试hdfs

1,通过web服务查看(jetty)
默认地址为:http://xingxp-hadoop-133:9870/
2,上传文件,执行:hdfs fs -get hdfs://xingxp-hadoop-133:9000/jdk-8u91-linux-x64.gz,web页面可以查看到,也可以通过web页面下载。
3,下载文件,执行:hadoop fs -get hdfs://xingxp-hadoop-133:9000/jdk-8u91-linux-x64.gz
相关文章
最新文章
热点推荐