首页 > 网络 > 云计算 >

Centos7伪分布式安装Hadoop2.6和Hbase0.94

2017-01-06

Centos7伪分布式安装Hadoop2 6和Hbase0 94:一、安装Jdk:首先需要卸载系统自带的openjava,查看系统的Java: rpm -qa|grep java。

Centos7伪分布式安装Hadoop2.6和Hbase0.94:一、安装Jdk:首先需要卸载系统自带的openjava,查看系统的Java: rpm -qa|grep java。

卸载: yum -y remove java javaxxxxx(系统自带的Java版本)

安装jdk,将jdk.tar.gz文件复制到/usr/java中,终端进入/mnt/share ,cp jdk.tar.gz /usr/ava,进入/usr/java解压:tar xzvf jdk.targz

配置环境变量:vi /etc/profile 输入i编辑
在尾部添加:export JAVA_HOME=/usr/java/jdkxxxx
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

保存并退出: wq
使修改生效: source /etc/profile
查看Java版本:java -version

二、Hadoop伪分布式安装

1、ssh无密码登陆


终端:ssh-keygen -t rsa (获得rsa公钥私钥,id_rsa和id_rsa.pub)
cd .ssh
cp id_rsa.pub authorized_keys (将公钥复制给authorized_keys) <分布式则要将所有节点id_rsa.pub相互复制>

2、 /mnt/share cp hadoop2.x /usr.hadoop

解压tar xzvf hadoop 2.x

3、修改core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml 、yarn-site.xml(hadoop2.x版本的配置文件在/hadoop2.x/etc/hadoop下)

①core-site.xml:


	
		fs.default.name
		hdfs://localhost:9000
	

② hadoop-env.sh:
export JAVA_HOME=/usr/java/jdkxxx (jdk路径)

③ hdfs-site.xml: 先创建好数据节点和名称节点的存放路径


	
		dfs.datanode.data.dir
		/user/hadoop/hadoop-2.5.1/data
	
	
		dfs.namenode.name.dir
		/user/hadoop/hadoop-2.5.1/name
	
	
		dfs.replication
		1
	



④mapred-site.xml: (注意:这个文件是将/hadoop2.x/etc/hadoop下的mapred-site.xml.template复制并重命名 )


	
		mapreduce.framework.name
		yarn
	

⑤yarn-site.xml:

	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
	


4、namenode格式化(一定要完成)


终端:cd /usr/hadoop/hadoop-2.5.1/bin

./hdfs namenode -format (输入./hadoop namenode -format也行)


5、运行hadoop


终端: cd /usr/hadoop/hadoop-2.5.1/sbin (2.x版本后启动/停止在sbin目录下)
./start-hdfs.sh
./start-yarn.sh
(也可以只输入./start-all.sh)

输入jps查看启动项,当启动了NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager即ok。

可进入Firefox中,输入端口号: localhost:50070 进入hadoop可视化页面。

三、Hbase0.94安装


1、/mnt/share cp hbase1.0.1 /usr.hbase

解压tar xzvf hbase1.0.1

2、修改hbase配置文件hbase-env.sh、hbase-site.xml

hbase-env.sh:

export JAVA_HOME=/usr/java/jdkxxxx (java路径)
export HBASE_MANAGES_ZK=true (都得去掉前面#)


hbase-site.xml:


	
		hbase.rootdir
		hdfs://localhost:9000/hbase
	
	
		hbase.cluster.distributed
		true
	
	
		hbase.zookeeper.quorum
		localhost
	
	
		hbase.tmp.dir
		file:/usr/hbase/tmp
	
	
		hbase.zookeeper.property.dataDir
		file:/usr/hbase/zookeeperdata
	

3、运行hbase

运行前需先启动hadoop,再进入hbase的bin目录下输入指令 ./start-hbase.sh
输入jps查看启动项,如有HMaster、HRegionServer、HQuormPeer,则说明hbase启动成功。
输入./hbase Shell (进入shell指令,可通过shell指令建表)

相关文章
最新文章
热点推荐