以下是在Ubuntu上合理配置Kafka的方法:
安装Java运行环境,推荐OpenJDK 8,使用命令sudo apt update和sudo apt install openjdk-8-jdk。下载并解压Zookeeper,配置其zoo.cfg文件,设置数据目录、客户端端口等参数。
下载解压Kafka后,编辑server.properties文件。设置broker.id为唯一标识,listeners为监听地址和端口,advertised.listeners为对外公布的访问地址,log.dirs为日志存储目录,zookeeper.connect为Zookeeper连接字符串。还可根据需求设置num.partitions、log.retention.hours、compression.type等参数。
修改kafka-server-start.sh文件,通过KAFKA_HEAP_OPTS设置JVM堆内存大小,如-Xms8G -Xmx8G,还可设置元空间、直接内存等参数。同时,调整buffer.memory参数,建议设置为可用内存的50%-70%。
使用SSD硬盘,调整文件系统参数,如挂载时使用noatime、nodiratime等选项。在Kafka配置中,合理设置num.io.threads等参数,以优化磁盘I/O性能。
将Kafka的bin目录添加到系统PATH环境变量中,方便使用Kafka命令。
启动Zookeeper和Kafka服务,使用命令sudo /opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties和sudo /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties。创建测试Topic,验证生产者和消费者是否正常工作。