Comment télécharger et installer Apache Kafka [Windows and Linux]

Apache Kafka est un système de messagerie qui permet aux applications d'un environnement distribué de communiquer et d'échanger des données par le biais de messages. Il agit comme un mécanisme de publication/abonnement, où les applications productrices envoient des messages et les applications consommatrices s'y inscrivent pour les recevoir.

Ce système vous offre la possibilité de créer une architecture faiblement couplée entre les parties de votre système qui produisent et consomment des informations. Cela simplifie considérablement la conception et la gestion du système. Kafka utilise Zookeeper pour la gestion des métadonnées et la synchronisation des divers composants du cluster.

Particularités d'Apache Kafka

Apache Kafka est devenu populaire grâce, entre autres, à ses attributs tels que:

Évolutivité grâce à des clusters et des partitions
Rapidité, capable de traiter 2 millions d'écritures par seconde
Préservation de l'ordre dans lequel les messages sont envoyés
Fiabilité par son système de réplication
Mises à niveau sans interruption de service

Explorons maintenant quelques exemples d'utilisation fréquents de Kafka.

Exemples d'utilisation courants d'Apache Kafka

Kafka est souvent employé dans le traitement du Big Data, l'enregistrement et l'agrégation d'événements comme les clics pour l'analyse, et le rassemblement de journaux provenant de différentes parties d'un système en un emplacement central.

Il facilite la communication entre différentes applications au sein d'un système et le traitement en temps réel des données provenant d'appareils IoT.

Examinons maintenant les étapes détaillées pour installer Kafka sur Windows et Linux.

Installation de Kafka sous Windows

Avant de commencer, vérifiez si Java est installé sur votre ordinateur pour installer Apache Kafka sous Windows. Ouvrez l'invite de commande en mode administrateur et saisissez la commande :

java --version

Si Java est installé, vous obtiendrez le numéro de version du JDK installé.

Si un message d'erreur indiquant que la commande n'est pas reconnue apparaît, cela signifie que Java n'est pas installé et que vous devez l'installer. Pour installer Java, rendez-vous sur Adoptium.net et cliquez sur le bouton de téléchargement.

Cela devrait lancer le téléchargement du fichier d'installation de Java. Une fois le téléchargement terminé, lancez l'installateur. L'invite d'installation devrait s'afficher.

Cliquez plusieurs fois sur "Suivant" pour accepter les options par défaut. L'installation devrait alors débuter. Pour vérifier l'installation, fermez l'invite de commande, rouvrez une autre invite en mode administrateur et saisissez à nouveau la commande :

java --version

Cette fois, vous devriez voir la version du JDK que vous venez d'installer. Une fois l'installation terminée, nous pouvons commencer l'installation de Kafka.

Pour installer Kafka, rendez-vous sur le site Web de Kafka.

Cliquez sur le lien, et cela vous dirigera vers la page de téléchargement. Téléchargez les derniers binaires disponibles.

Cela téléchargera les scripts et les binaires Kafka compressés dans un fichier .tgz. Après le téléchargement, vous devrez extraire les fichiers de l'archive .tgz. Pour cela, j'utiliserai WinZip, que vous pouvez télécharger depuis le site Web de WinZip.

Après avoir extrait le fichier, déplacez-le vers C: de sorte que le chemin devienne C:\kafka.

Ouvrez ensuite l'invite de commande en mode administrateur et démarrez Zookeeper en vous déplaçant d'abord dans le répertoire Kafka et en exécutant le fichier zookeeper-server-start.bat avec zookeeper.properties comme fichier de configuration.

cd C:\kafka
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

Maintenant que Zookeeper est en cours d'exécution, nous devons ajouter le fichier exécutable wmic que Kafka utilise dans notre variable d'environnement PATH.

set PATH=C:\Windows\System32\wbem;%PATH%;

Ensuite, démarrez le serveur Apache Kafka en ouvrant une autre session d'invite de commande en mode administrateur et en vous dirigeant vers le dossier C:\kafka.

cd C:\kafka

Puis lancez Kafka en exécutant :

bin\windows\kafka-server-start.bat config\server.properties

Kafka devrait maintenant être opérationnel. Vous pouvez configurer les propriétés du serveur, telles que l'emplacement d'écriture des journaux, dans le fichier server.properties.

Installation de Kafka sous Linux

Commencez par vous assurer que votre système est à jour en mettant à jour tous les paquets.

sudo apt update && sudo apt upgrade

Ensuite, vérifiez si Java est installé sur votre machine en exécutant :

java --version

Si Java est installé, vous verrez le numéro de version. Si ce n'est pas le cas, vous pouvez l'installer en utilisant apt.

sudo apt install default-jdk

Après cela, nous pouvons installer Apache Kafka en téléchargeant les binaires depuis le site Web.

Ouvrez votre terminal et accédez au répertoire où le téléchargement a été enregistré. Dans mon cas, je dois accéder au répertoire Téléchargements.

cd Downloads

Une fois dans le répertoire des téléchargements, décompressez les fichiers téléchargés à l'aide de tar :

tar -xvzf kafka_2.13-3.3.1.tgz

Allez dans le répertoire décompressé.

cd kafka_2.13-3.3.1

Listez les répertoires et les fichiers.

Une fois dans ce répertoire, démarrez un serveur Zookeeper en exécutant le script zookeeper-server-start.sh situé dans le répertoire bin du dossier décompressé.

Le script nécessite un fichier de configuration Zookeeper. Le fichier par défaut est nommé zookeeper.properties et se trouve dans le sous-répertoire config.

Pour démarrer le serveur, utilisez la commande suivante :

bin/zookeeper-server-start.sh config/zookeeper.properties

Avec Zookeeper en cours d'exécution, nous pouvons démarrer le serveur Apache Kafka. Le script kafka-server-start.sh se trouve également dans le répertoire bin. La commande attend également un fichier de configuration. Celui par défaut est server.properties stocké dans le fichier de configuration.

bin/kafka-server-start.sh config/server.properties

Apache Kafka devrait maintenant être opérationnel. Dans le répertoire bin, vous trouverez de nombreux scripts pour effectuer des opérations telles que la création de sujets, la gestion des producteurs et la gestion des consommateurs. Vous pouvez également personnaliser les propriétés du serveur dans le fichier server.properties.

En conclusion

Dans ce guide, nous avons expliqué comment installer Java et Apache Kafka. Bien que vous puissiez installer et gérer manuellement les clusters Kafka, il existe également des options gérées telles qu'Amazon Web Services et Confluent.

Par la suite, vous pouvez vous pencher sur le traitement des données avec Kafka et Spark.