Comment configurer la haute disponibilité pour Namenode - Partie 5

Hadoop a deux composants principaux qui sont HDFS et FIL. HDFS est pour stocker le Données, FIL est pour traiter le Données. HDFS est Système de fichiers distribué Hadoop, il a Namenode comme Service maître et Code de données comme Service d'esclaves.

Namenode est le composant critique de Hadoop qui est de stocker les métadonnées des données stockées dans HDFS. Si la Namenode Descend, l'ensemble du cluster ne sera pas accessible, c'est le point de défaillance unique (Spof). Ainsi, l'environnement de production aura Haute disponibilité namenode Pour éviter la panne de production si un Namenode Descend à cause de diverses raisons comme un accident de machine, une activité de maintenance planifiée, etc.

Hadoop 2.X Fournit la faisabilité où nous pouvons en avoir deux Namenodes, on sera Namenode actif Et un autre sera Namenode de veille.

• Namenode actif - Il gère toutes les opérations du client.
• Namenode de veille - Il est redondant de Namenode actif. Si NN actif descend, alors Standby nn assumera toute la responsabilité de NN actif.

Habilitant Haute disponibilité namenode a besoin Gardien de zoo qui est obligatoire pour le basculement automatique. Zkfc (Contrôleur de basculement de Zookeeper) est un Gardien de zoo client utilisé pour maintenir l'état de Namenode.

Exigences

• Meilleures pratiques pour le déploiement du serveur Hadoop sur Centos / Rhel 7 - Partie 1
• Configuration de Hadoop avant les requis et le durcissement de la sécurité - Partie 2
• Comment installer et configurer le gestionnaire Cloudera sur Centos / Rhel 7 - partie 3
• Comment installer CDH et configurer des placements de service sur Centos / Rhel 7 - Partie 4

Dans cet article, nous allons activer Haute disponibilité namenode dans Cloudera Manager.

Étape 1: Installation de Zookeeper

1. Se connecter à Cloudera Manager.

http: // your-ip: 7180 / cmf / home 

Tableau de bord Cloudera Manager

2. Dans le Grappe (Tecmint) invite d'action, sélectionnez "Ajouter un service".

Ajouter un service dans Cloudera Manager

3. Sélectionnez le service "Gardien de zoo".

Service de gardien de zoo

4. Sélectionnez les serveurs où nous allons avoir Gardien de zoo installée.

Ajouter le service de gardien de zoo

5. Nous allons avoir 3 gardiens de zoo former Zookeeper quorum. Sélectionnez les serveurs comme mentionné ci-dessous.

Créer Zookeeper Quorum

6. Configurer le Gardien de zoo Propriétés, nous en avons ici les par défaut. En temps réel, vous devez avoir des points de répertoire / montage séparés pour stocker Gardien de zoo données. Dans Partie 1, Nous avons expliqué la configuration du stockage pour chaque service. Cliquez sur 'continuer' procéder.

Configurer les propriétés de Zookeeper

7. L'installation commencera, une fois installé Gardien de zoo sera démarré. Vous pouvez afficher les opérations d'arrière-plan ici.

Installation du service de gardien de zoo

8. Après avoir réussi à terminer l'étape ci-dessus, le statut sera «Fini'.

Zookeeper installé

9. Maintenant, Gardien de zoo est installé et configuré avec succès. Clique le 'Finir'.

Zookeeper configuré

dix. Vous pouvez voir le Gardien de zoo service sur le Cloudera Manager Tableau de bord.

Afficher le service ZooKeeper

Étape 2: Activation de la haute disponibilité namenode

11. Aller à Cloudera Manager -> HDFS -> Actions -> Activer la haute disponibilité.

Activer la haute disponibilité

12. Entrer le Nom de la service de noms comme "Names NameService1»- Il s'agit d'un espace de noms commun pour Namenode actif et de secours.

Ajouter le nom de la service de noms

13. Sélectionnez le Deuxième namenode où nous allons avoir de veille Namenode.

Choisissez le deuxième namenode

14. Ici, nous sélectionnons maître2.Tecmint.com pour la veille Namenode.

Sélectionnez l'hôte pour NameNode

15. Sélectionnez le Journal nœuds, ce sont des services obligatoires pour la synchronisation Actif et veille Namenode.

Sélectionnez les nœuds Jouranal

16. Nous faisons Quorum Journal en plaçant le Journal Node dans 3 serveurs comme mentionné ci-dessous. Sélectionnez 3 serveurs et cliquez sur «OK».

Créer un journal quorum

17. Cliquez sur 'Continuer' procéder.

Attribuer des rôles au journal quorum

18. Entrer le Noeud de journal chemin de répertoire. Nous devons simplement mentionner le chemin lors de l'installation de ce répertoire sera automatiquement créé par le service lui-même. Nous mentionnons comme '/Jn'. Cliquez sur 'Continuer' procéder.

Ajouter le chemin du nœud de journal

19. Il commencera à permettre le La haute disponibilité.

Activer la haute disponibilité

20. Une fois terminé tous les processus d'arrière-plan, nous obtiendrons 'Fini' Statut.

Haute disponibilité finie

21. Enfin, nous recevrons une notification 'Haute disponibilité avec succès'. Cliquez sur 'Finir'.

Haute disponibilité activée

22. Vérifiez le Actif et Namenode de veille en allant à Cloudera Manager -> HDFS -> Instances.

Vérifiez la haute disponibilité

23. Ici, tu peux faire quelques coups Namenodes, on sera dans le 'Actif«État et un autre sera dans»Etre prêt' État.

Vérifiez Namenodes

Conclusion

Dans cet article, nous avons suivi le processus étape par étape pour activer Haute disponibilité namenode. Il est fortement recommandé d'avoir Haute disponibilité namenode dans tous les grappes dans un environnement en temps réel. Veuillez publier vos doutes si vous faites face à une erreur lors de ce processus. Nous verrons Haute disponibilité du gestionnaire de ressources Dans l'article suivant.