首页 > 网络 > 云计算 >

hadoop之zookeeper集群搭建

2016-12-24

hadoop之zookeeper集群搭建:一 、zookeeper简介:有一个leader,n个follower。二 、作用:对hadoop ------>确保集群中只有一个活跃的NameNode 对HBase ------>确保集群中只有一个HMaster 。

hadoop之zookeeper集群搭建:一 、zookeeper简介:有一个leader,n个follower。二 、作用:对hadoop ------>确保集群中只有一个活跃的NameNode...对HBase ------>确保集群中只有一个HMaster...。

三 、环境搭建

下载地址:https://zookeeper.apache.org/

1.上传zk安装包


2.解压
tar -zxvf zookeeper-3.4.9.tar.gz -C ../

3.配置
3.1添加一个zoo.cfg配置文件
$ZOOKEEPER/conf

mv zoo_sample.cfg zoo.cfg

(以下为集群zookeeper配置)
3.2修改配置文件(zoo.cfg)
dataDir=/home/storm/zookeeper-3.4.9/data

server.1=hadoop03:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop05:2888:3888

3.3在(dataDir=/itcast/zookeeper-3.4.5/data)创建一个myid文件,里面内容是server.N中的N(server.2里面内容为2)
echo "1" > myid

3.4将配置好的zk拷贝到其他节点
scp -r /home/storm/zookeeper-3.4.9 root@hadoop02:/home/spark/
scp -r /home/storm/zookeeper-3.4.9 root@hadoop05:/home/streamsets/

3.5注意:在其他节点上一定要修改myid的内容
在hadoop02应该讲myid的内容改为2 (echo "2" > myid)
在hadoop05应该讲myid的内容改为3 (echo "3" > myid)

4.启动集群
分别启动zk
./zkServer.sh start

查看状态 ./zkServer.sh status

结果:有1个leader,其余为follower

注意:集群搭建一定要关防火墙,否则查看状态时报错

5.启动客户端

./zkCli.sh

6.常用命令

运行./zkCli.sh 进入客户端窗口

(1) 查看根目录
ls /
(2)创建一个文件夹
文件 值
create /itcast0106 8000$
(3)查看文件夹内容

get /itcast0106

四 、zookeeper配置文件参数简介

1.tickTime:CS通信心跳时间
Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
tickTime=2000

2.initLimit:LF初始通信时限
集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数(tickTime的数量)。
initLimit=5

3.syncLimit:LF同步通信时限
集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数(tickTime的数量)。
syncLimit=2

4.dataDir:数据文件目录
Zookeeper保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。
dataDir=/home/michael/opt/zookeeper/data

5.clientPort:客户端连接端口
客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。
clientPort=2181

6.服务器名称与地址:集群信息(服务器编号,服务器地址,LF通信端口,选举端口)
这个配置项的书写格式比较特殊,规则如下:
server.N=YYY:A:B

server.1=hadoop03:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop05:2888:3888

相关文章
最新文章
热点推荐