博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
zookeeper入门
阅读量:7235 次
发布时间:2019-06-29

本文共 1143 字,大约阅读时间需要 3 分钟。

hot3.png

目的:想把爬虫系统的配置转移到zookeeper管理

zookeeper作为一个帮助搭建分布式系统的框架,在统一管理配置和选举master上的非常优秀。

ZooKeeper是一个的,开放源码的协调服务,是的Chubby一个的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等  


zookeeper安装部署

测试使用zookeeper非常简单,现在现在,简单的配置即可

download : http://www.apache.org/dyn/closer.cgi/zookeeper/(官方推荐版本) 

解压:目录结构 最主要的几个目录

bin 启动命令所在目录
conf zookeeper的配置 zoo.conf

windows下点击 zkserver.cmd 启动

zoo.conf的具体配置种目前最关键的就是 对外的端口 默认 2181

观察控制台,一般不报错,就是启动成功了。


简单理解  

1:zookeeper 实现了一个简单的树形结构的文件系统,node节点的概念就是树形结构上的一个节点。

这样一个结构,每一个node节点都可以存储数据,配置的统一管理实现根本也在这个地方,把配置数据存储到某一个节点上,我肯可以想象成我们在我们的电脑上建了一个层级的文件夹层,每一个文件夹内都可以存放数据,这些数据就是我们需要统一管理的配置信息。

2:如何实现的数据一致性 。

watcher :zookeeper客户端调用的时候,会定义一个wather ,watcher的概念我的理解就是一个看门狗,时刻的监控的自己监控的节点的数据变化,  比如我们把我们爬虫系统全局的一些信息(网站的最大并并发请求maxRrequestNum)存储到了node2-2 上,这个时候客户端连接到zookeeper文件系统后,对node2-2 这个path添加了监听,文件内容发生变化,通知客户端(对应举个例子就是给看门狗安排了个任务,给我看着这块地方,如果这块地方有啥动静,就叫两声,让主人知道),客户端收到这个变化的通知后,就可以同步最新的数据,保证数据一致性。给感兴趣的node添加的这个watcher(条看门狗)是保证一致性的关键。他可以在发生数据变化的时候及时通知客户端(主人)。

3:zookeeper 客户端调用。

 3.1:zookeeper自带了客户端调用的api

3.2: 还有一些三方封装的zkclient,使用起来也非常的方便。

 

3.3:调用代码:

code area

选举:

稍后在再研究....

转载于:https://my.oschina.net/u/1246109/blog/717975

你可能感兴趣的文章
信用证流动流程图绘制方法
查看>>
pdf怎么旋转方向
查看>>
如何配置vlan
查看>>
ORACLE BUFFERCACHE及清除
查看>>
扬帆起航
查看>>
VMware Workstation 8 正式版发布(附注册机下载地址)
查看>>
centos-bonding
查看>>
Python3.5修炼手册11
查看>>
Linux网桥源码的实现(独孤九贼)
查看>>
【桌面虚拟化】之六Local Mode
查看>>
Centos 6.3 部署Bacula实现远程备份还原
查看>>
pyspider-修改项目删除时间
查看>>
shell 脚本扩展
查看>>
Deep Thinking in New Work
查看>>
ping丢包严重
查看>>
我的友情链接
查看>>
NIO使用小结
查看>>
《从零开始学Swift》学习笔记(Day 47)——final关键字
查看>>
我的友情链接
查看>>
windows远程桌面linux
查看>>