Comment installer Apache Kafka dans Centos / Rhel 7

Apache Kafka est un puissant moteur de messagerie, qui est largement utilisé dans Big Data projets et le Analyse des données cycle de vie. Il s'agit d'une plate-forme open source pour créer des pipelines de streaming de données en temps réel. Il s'agit d'une plate-forme de publication de publication distribuée avec fiabilité, évolutivité et durabilité.

Nous pouvons avoir Kafka En tant que autonome ou en tant que cluster. Kafka stocke les données de streaming, et il peut être classé comme Les sujets. Le Sujet aura un certain nombre de partitions afin qu'elle puisse gérer une quantité arbitraire de données. De plus, nous pouvons avoir plusieurs répliques pour tolérer les pannes comme nous le faisons HDFS. Dans un cluster Kafka, le courtier est un composant qui stocke les données publiées.

Zookeeper est un service obligatoire pour gérer un Kafka Cluster, car il est utilisé pour gérer la coordination des courtiers Kafka. Zookeeper joue un rôle clé entre le producteur et le consommateur où il est chargé de maintenir l'état de tous les courtiers.

Dans cet article, nous expliquerons comment installer Apache Kafka dans un seul nœud Centos 7 ou Rhel 7.

Installation d'Apache Kafka dans Centos 7

1. Tout d'abord, vous devez installer Java sur votre système pour fonctionner Apache Kafka sans aucune erreur. Alors, installez la version par défaut disponible de Java en utilisant la commande yum suivante et vérifiez le Java Version comme indiqué.

# yum -y installer java-1.8.0-openjdk # java -version 

2. Ensuite, téléchargez la version stable la plus récente de Apache Kafka à partir du site officiel ou utilisez la commande wget suivante pour la télécharger directement et l'extraire.

# wget https: // miroirs.estointernet.dans / apache / kafka / 2.7.0 / kafka_2.13-2.7.0.tgz # tar -xzf kafka_2.13-2.7.0.tgz 

3. Créer un lien symbolique pour kafka package, puis ajouter le chemin de l'environnement Kafka vers .bash_profile fichier puis l'initialiser comme indiqué.

# ln -s kafka_2.13-2.7.0 kafka # echo "Export Path = $ path: / root / kafka_2.13-2.7.0 / bin ">> ~ /.bash_profile # source ~ /.bash_profile 

4. Ensuite, commencez le Gardien de zoo, qui vient intégré avec le Kafka emballer. Comme il s'agit d'un seul cluster de nœuds, vous pouvez démarrer le gardien de zoo avec des propriétés par défaut.

# zookeeper-server-start.sh -Daemon / root / kafka / config / zookeeper.propriétés 

5. Validez si le gardien de zoo est accessible ou non par telnet pour Gardien de zoo port 2181.

# Telnet localhost 2181 

6. Commencer le Kafka avec ses propriétés par défaut.

# kafka-server-start.sh -Daemon / root / kafka / config / server.propriétés 

7. Valider si le Kafka est accessible ou non par simplement Telnet à Kafka Port 9092

# Telnet localhost 9092 

8. Ensuite, créez un exemple de sujet.

# kafka-topics.sh --create --zookeeper localhost: 2181 - Réplication-facteur 1 - Partitions 1 - Tecmint topic 

9. Énumérez le sujet créé.

# kafka-topics.SH --zookeeper localhost: 2181 - list 

Conclusion

Dans cet article, nous avons vu comment installer un seul nœud kafka cluster dans Centos 7. Nous verrons comment installer un cluster Kafka multinode dans le prochain article.