通常来说, logstash的处理能力有限, 为了防止高峰期日志数量太高导致kafka挂掉, 一般使用kafka来缓存日志消息.
kafka依赖zookeeper, 因此需要先安装配置zookeeper, 再安装配置kafka.
系统环境:
系统统一采用CentOS 7.8 64bit
| IP地址 | Zookeeper安装目录 | Zookeeper DATA目录 | kafka安装目录 | kafka内网调用域名 |
| 172.29.4.168 | /data/zookeeper | /data/zookeeper/data | /data/kafka | kafka1.zhukun.net |
| 172.29.4.169 | /data/zookeeper | /data/zookeeper/data | /data/kafka | kafka2.zhukun.net |
| 172.29.4.170 | /data/zookeeper | /data/zookeeper/data | /data/kafka | kafka3.zhukun.net |
1, 部署并配置Zookeeper
以下操作需要同时在3台服务器上操作
$ wget http://mirror.bit.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.5.8-bin.tar.gz $ tar zxvf apache-zookeeper-3.5.8-bin.tar.gz $ mv apache-zookeeper-3.5.8-bin /data/ $ ln -s /data/apache-zookeeper-3.5.8-bin /data/zookeeper && mkdir /data/zookeeper/data
准备zk配置文件
$ vim /data/zookeeper/conf/zoo.cfg # 写入如下配置 dataDir=/data/zookeeper/data clientPort=2181 maxClientCnxns=0 admin.enableServer=false # admin.serverPort=8080 initLimit=10 syncLimit=5 server.1=172.29.4.168:2888:3888 server.2=172.29.4.169:2888:3888 server.3=172.29.4.170:2888:3888
准备系统服务
Leave a Comment