Comment configurer la haute disponibilité pour Namenode - Partie 5

Hadoop comporte deux composants principaux qui sont HDFS et YARN. HDFS sert à stocker les Données, YARN sert à traiter les Données. HDFS est un système de fichiers distribué Hadoop, il a un Namenode comme Master Service et un Datanode. en tant que Service esclave.

Namenode est le composant essentiel de Hadoop qui stocke les métadonnées des données stockées dans HDFS. Si le Namenode tombe en panne, l'ensemble du cluster ne sera pas accessible, c'est le point de défaillance unique (SPOF). Ainsi, l'environnement de production disposera d'une Namenode High Availability pour éviter une interruption de production si un Namenode tombe en panne pour diverses raisons telles qu'un crash de machine, une activité de maintenance planifiée, etc.

Hadoop 2.x offre la possibilité d'avoir deux Namenodes, l'un sera un Namenode actif et l'autre sera un Namenode de secours.

Active Namenode – Il gère toutes les opérations client.
Standby Namenode – Il est redondant du Active Namenode. Si Active NN tombe en panne, alors Standby NN assumera toute la responsabilité de Active NN.

L'activation de la Namenode High Availability nécessite Zookeeper qui est obligatoire pour le basculement automatique. ZKFC (Zookeeper Failover Controller) est un client Zookeeper qui est utilisé pour maintenir l'état de Namenode.

Exigences

Meilleures pratiques pour le déploiement du serveur Hadoop sur CentOS/RHEL 7 – Partie 1
Configuration des prérequis Hadoop et renforcement de la sécurité – Partie 2
Comment installer et configurer Cloudera Manager sur CentOS/RHEL 7 – Partie 3
Comment installer CDH et configurer les emplacements de services sur CentOS/RHEL 7 – Partie 4

Dans cet article, nous allons activer la Namenode High Availability dans Cloudera Manager.

Étape 1 : Installation de Zookeeper

1. Connectez-vous à Cloudera Manager.

http://Your-IP:7180/cmf/home

2. Dans l'invite d'action Cluster (tecmint), sélectionnez « Ajouter un service ».

3. Sélectionnez le service « Zookeeper ».

4. Sélectionnez les serveurs sur lesquels Zookeeper sera installé.

5. Nous allons avoir 3 gardiens de zoo pour former le Quorum des gardiens de zoo. Sélectionnez les serveurs comme mentionné ci-dessous.

6. Configurez les propriétés Zookeeper, nous avons ici celles par défaut. En temps réel, vous devez disposer de répertoires/points de montage séparés pour stocker les données Zookeeper. Dans la Partie 1, nous avons expliqué la configuration du stockage pour chaque service. Cliquez sur « continuer » pour continuer.

7. L'installation commencera, une fois installé, Zookeeper sera démarré. Vous pouvez voir les opérations en arrière-plan ici.

8. Une fois l'étape ci-dessus terminée, le statut sera « Terminé ».

9. Maintenant, Zookeeper est installé et configuré avec succès. Cliquez sur « Terminer ».

10. Vous pouvez afficher le service Zookeeper sur le tableau de bord Cloudera Manager.

Étape 2 : Activation de la haute disponibilité de Namenode

11. Accédez à Cloudera Manager –> HDFS –> Actions –> Activer la haute disponibilité. fort>.

12. Saisissez le Nom du service de noms sous la forme « nameservice1 » : il s'agit d'un espace de noms commun pour les nœuds de noms actifs et en veille.

13. Sélectionnez le Deuxième Namenode où nous allons avoir un Namenode en veille.

14. Ici, nous sélectionnons master2.linux-console.net pour le Namenode en veille.

15. Sélectionnez les nœuds Journal, ce sont des services obligatoires pour la synchronisation des Namenode actifs et en veille.

16. Nous créons le Quorum Journal en plaçant le nœud Journal sur 3 serveurs comme mentionné ci-dessous. Sélectionnez 3 serveurs et cliquez sur « OK ».

17. Cliquez sur « Continuer » pour continuer.

18. Saisissez le chemin du répertoire Nœud de journal. Il suffit de mentionner le chemin lors de l'installation, ce répertoire sera automatiquement créé par le service lui-même. Nous mentionnons comme '/jn'. Cliquez sur « Continuer » pour continuer.

19. Il commencera à activer la haute disponibilité.

20. Une fois tous les processus en arrière-plan terminés, nous obtiendrons le statut « Terminé ».

21. Enfin, nous recevrons une notification « Haute disponibilité activée avec succès ». Cliquez sur « Terminer ».

22. Vérifiez le Noeud de nom actif et le Nom de secours en accédant à Cloudera Manager –> HDFS –> Instances.

23. Ici, vous pouvez avoir deux Namenodes, l'un sera à l'état 'Actif' et l'autre sera en 'Standby ' état.

Conclusion

Dans cet article, nous avons suivi le processus étape par étape pour activer la Haute disponibilité de Namenode. Il est fortement recommandé d'avoir la Namenode High Availability dans tous les clusters dans un environnement temps réel. Veuillez poster vos doutes si vous rencontrez une erreur lors de ce processus. Nous verrons la Haute disponibilité de Resource Manager dans le prochain article.