Comment installer Apache Kafka dans CentOS/RHEL 7

Apache Kafka est un moteur de messagerie puissant, largement utilisé dans les projets BigData et dans le cycle de vie Data Analytics. Il s'agit d'une plate-forme open source permettant de créer des pipelines de streaming de données en temps réel. Il s'agit d'une plate-forme de publication-abonnement distribuée offrant fiabilité, évolutivité et durabilité.

Nous pouvons avoir Kafka de manière autonome ou en cluster. Kafka stocke les données de streaming et elles peuvent être classées en Sujets. Le Sujet comportera un certain nombre de partitions afin de pouvoir gérer une quantité arbitraire de données. En outre, nous pouvons avoir plusieurs réplicas tolérants aux pannes, comme c'est le cas dans HDFS. Dans un cluster Kafka, le courtier est un composant qui stocke les données publiées.

Zookeeper est un service obligatoire pour exécuter un cluster Kafka, car il est utilisé pour gérer la coordination des courtiers Kafka. Zookeeper joue un rôle clé entre le producteur et le consommateur où il est responsable du maintien de l'état de tous les courtiers.

Dans cet article, nous expliquerons comment installer Apache Kafka dans un seul nœud CentOS 7 ou RHEL 7.

Installation d'Apache Kafka dans CentOS 7

1. Tout d'abord, vous devez installer Java sur votre système pour exécuter Apache Kafka sans aucune erreur. Alors, installez la version disponible par défaut de Java à l'aide de la commande yum suivante et vérifiez la version Java comme indiqué.

yum -y install java-1.8.0-openjdk
java -version

2. Ensuite, téléchargez la version stable la plus récente d'Apache Kafka depuis le site officiel ou utilisez la commande wget suivante pour la télécharger directement et l'extraire.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Créez un lien symbolique pour le package kafka, puis ajoutez le chemin de l'environnement Kafka au fichier .bash_profile, puis initialisez-le comme indiqué.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Ensuite, démarrez Zookeeper, qui est intégré au package Kafka. Puisqu'il s'agit d'un cluster à nœud unique, vous pouvez démarrer le zookeeper avec les propriétés par défaut.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Vérifiez si le zookeeper est accessible ou non par simplement telnet sur le port Zookeeper 2181.

telnet localhost 2181

6. Démarrez Kafka avec ses propriétés par défaut.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Vérifiez si Kafka est accessible ou non par simple telnet au port Kafka 9092

telnet localhost 9092

8. Ensuite, créez un exemple de sujet.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Répertoriez le sujet créé.

kafka-topics.sh --zookeeper localhost:2181 --list

Conclusion

Dans cet article, nous avons vu comment installer un cluster Kafka à nœud unique dans CentOS 7. Nous verrons comment installer un cluster Kafka multi-nœuds dans le prochain article.