由于项目需要用到kafka,所以就研究了下kafka的一些基本操作以及环境的安装配置。本次讲解的是Docker环境下的安装步骤。其中kafka主要包括两个组件,一个是kafka的主程序server端,另一个是kafka的管理manager端。另外还需要zookeeper做前提支持。

1.安装zookeeper

  本次安装的zookeeper采用的是单节点运行,zookeeper也可以设置集群。

  #单节点运行
  docker run --privileged=true -d --name zookeeper --publish 2181:2181  -d zookeeper

2.安装kafka-server端

  kafka-server端采用docker方式安装。并且为了后续的持久化运作设置了挂载目录。

  #kafka挂载目录数据持久化安装
  docker run  --name kafka -t --restart=always \
   -p 9092:9092 \
   -e KAFKA_BROKER_ID=0 \
   -e KAFKA_ZOOKEEPER_CONNECT=172.31.96.56:2181 \
   -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.31.96.56:9092 \
   -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
   -v /etc/localtime:/etc/localtime \
   -v /home/kafka/data:/kafka \
    -d wurstmeister/kafka:latest
  #说明
  kafka的端口设为9092,BROKER_ID为0(后续可设置集群),内网IP为172.31.96.56,挂载目录为/home/kafka/data,时间同步为/etc/localtime

kafka-server

3.安装kafka-manager端

  kafka-manager端我们采用docker-compose的方式安装(其实zookeeper,kafka,kafka-manager这三个都可以一起采用docker-compose方式安装更为简便,这里不过多介绍)。

  #使用docker-compose启动kafka-manager
  cd /home/kafka
  vi docker-compose.yml

  #docker-compose.yml里面添加如下内容
  version: '3.1'
  services:
    kafka-manager:
      container_name: kafka-manager
      image: xuxiangwork/kafka-manager
      ports:
        - "9001:9000"
      environment:
        ZK_HOSTS: 172.31.10.220:2181
        APPLICATION_SECRET: 应用密码
        KAFKA_MANAGER_AUTH_ENABLED: "true"
        KAFKA_MANAGER_USERNAME: 账户
        KAFKA_MANAGER_PASSWORD: 密码
      restart: always

  最后使用docker-compose up -d命令即可启动。

kafka-manager

  然后登陆ip:9001即可进入kafka-manager图形化管理界面。

kafka-manager1

4.kafka的相关配置操作

  #首先进入kafka容器

  docker exec -it kafka bash

  #切换到kafka所在的目录

  cd /opt/kafka_2.12-2.4.0/

  #创建topic

  /opt/kafka/bin/kafka-topics.sh --create --bootstrap-server 172.31.10.220:9092 --replication-factor 1 --partitions 1 --topic suk1da

  #列出所有topics (在本地kafka路径下)

  kafka-topics.sh --zookeeper 172.31.10.220:2181 --list

kafka-topic

  #列出所有Kafka brokers

  docker exec zookeeper bin/zkCli.sh ls /brokers/ids

  #接受消费者信息

  /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 172.31.10.220:9092 --topic suk1da --from-beginning

  #查看消费者消费情况

  /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.31.10.220:9092 --group bigdata --describe | grep -E "topic|suk1da"

#其中
GROUP TOPIC PID OFFSET LOGSIZE
LAG
消费者组 话题id 分区id 当前已消费的条数 总条数
未消费的条数

Q.E.D.

知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议