Comment installer CDH et configurer des placements de service sur Centos / Rhel 7 - Partie 4

Dans un article précédent, nous avons expliqué l'installation de Cloudera Manager, dans cet article, vous apprendrez à installer et à configurer CDH (Cloudera Distribution Hadoop) dans Rhel / centos 7.

Lors de l'installation de la colis CDH, nous devons assurer le Cloudera Manager et CDH compatibilité. La version Cloudera a 3 parties - ... La version majeure et mineure Cloudera Manager doit être la même que la version majeure et mineure CDH.

Par exemple, nous utilisons Cloudera Manager 6.3.1 et CDH 6.3.2. Ici 6 est majeur et 3 est la version mineure. Les principaux et mineurs doivent être les mêmes pour éviter les problèmes de compatibilité.

Exigences

• Meilleures pratiques pour le déploiement du serveur Hadoop sur Centos / Rhel 7 - Partie 1
• Configuration de Hadoop avant les requis et le durcissement de la sécurité - Partie 2
• Comment installer et configurer le gestionnaire Cloudera sur Centos / Rhel 7 - partie 3

Nous prendrons les 2 nœuds ci-dessous pour installer CDH. Nous avons déjà installé Cloudera Manager dans maître1, Nous utilisons également maître1 En tant que serveur de réapprovisionnement.

maître1.Tecmint.com Worker1.Tecmint.com 

Étape 1: Téléchargez les colis CDH sur Master Server

1. Tout d'abord, connectez-vous à maître1 serveur et télécharger Colis CDH fichiers dans le / var / www / html / cloudera-repos / cdh annuaire . Nous devons télécharger ci-dessous 3 fichiers mentionnés qui devraient être compatibles avec Rhel / centos 7.

CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.colis CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.colis.SHA1 manifeste.json 

2. Avant de télécharger ces fichiers, assurez-vous de créer un CDH répertoire sous / var / www / html / cloudera-repos / emplacement.

$ cd / var / www / html / cloudera-repos / $ sudo mkdir cdh $ cd cdh 

3. Ensuite, téléchargez les 3 fichiers mentionnés ci-dessus à l'aide de la commande wget suivante.

$ sudo wget https: // archive.cloudera.com / cdh6 / 6.3.2 / parcelles / CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.Parcel $ sudo wget https: // archive.cloudera.com / cdh6 / 6.3.2 / parcelles / CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.colis.sha1 $ sudo wget https: // archive.cloudera.com / cdh6 / 6.3.2 / colis / manifeste.json 

Étape 2: Configurer le référentiel de Cloudera Manager sur les clients des travailleurs

4. Maintenant, connectez-vous à ouvrier serveurs et copiez le fichier de réapprovisionnement (manager de Cloudera.repo) depuis Repo Server (maître1) à tout le serveur de travailleurs restant. Ce fichier Repo garantit aux serveurs que toutes les parcelles et RPM requis seront téléchargés à partir du serveur Repo lors de l'installation.

chat> / etc / miam.se soustraire.d / cloudera-manager.repo < 
5. Une fois le repo ajouté, énumérez les référentiels activés pour s'assurer que le manager de Cloudera Repo est activé.
 
$ yum Repolist 
  Vérifiez les dépositions activées 
Étape 3: Installer Cloudera Manager Daemons and Agent sur les serveurs de travailleurs
 
6. Maintenant, nous devons installer coussin-manager-daémons et cloudera-manager-agent Dans tous les serveurs restants.
 
$ sudo yum installer cloudera-manager-daemons cloudera-manager-agent 
  Installer Cloudera Manager Daemons and Agent 
7. Ensuite, vous devez configurer le Cloudera Manager agent pour signaler le Cloudera Manager serveur.
 
$ sudo vi / etc / cloudera-scm-agent / config.ini 
 
Remplace le hôte local avec Cloudera Manager Adresse IP du serveur.
  Configurer Cloudera Manager 
8. Commencer Cloudera Manager Agent et vérifiez le statut.
 
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 
  Vérifiez l'état du gestionnaire de Cloudera 
Étape 4: Installer et configurer CDH
 
Nous avons CDH colis dans maître1 - serveur de réapprovisionnement. Assurez-vous que tous les serveurs ont un fichier de repo Cloudera Manager dans / etc / yum.se soustraire.d/ Si vous suivez l'installation automatique en utilisant Cloudera Manager.
 
9. Connectez-vous à Cloudera Manager en utilisant l'URL ci-dessous au port 7180 et utiliser le nom d'utilisateur et le mot de passe par défaut de Cloudera Manager.
 
http: // 104.211.95.96: 7180 / CMF / Nom d'utilisateur de connexion: Mot de passe d'administration: Admin 
  Connexion Cloudera Manager 
dix. Une fois que vous vous êtes connecté, vous serez accueilli avec la page de bienvenue. Ici, vous pouvez trouver des notes de version, de nouvelles fonctionnalités de Cloudera Manager.
  Cloudera Manager Bienvenue 
11. Acceptez la licence et continuez.
  Licence Cloudera Manager 
12. Sélectionnez l'édition. La version d'essai a été sélectionnée par défaut, nous pouvons y aller.
  Cloudera Manager Edition 
13. Maintenant, suivez les étapes d'installation du cluster. Continuez la page de bienvenue.
  Installation de cluster Cloudera Manager 
14. Nommez le cluster et continuez, nous avons nommé «Tecmint". Il existe 2 types de grappes que vous pouvez définir. Nous procédons avec un cluster régulier.
 
 
Cluster régulier: Sera composé de nœuds de stockage, de nœuds de calcul et d'autres services nécessaires.
 
Cluster de calcul: Sera constitué uniquement de nœuds de calcul. Le stockage externe peut être utilisé pour stocker des données.
 
  Nom du cluster Cloudera Manager 
15. Nous avons déjà installé Agents Cloudera Manager Dans tous les serveurs. Vous pouvez trouver ces serveurs dans "Hôtes actuellement gérés". Pour l'installation automatique, vous devez saisir le FQDN ou la IP des serveurs dans le «Nouveaux hôtes«Option et recherche. Cloudera Manager détectera automatiquement les hôtes sur lesquels nous devons installer CDH.
 
Ici, cliquez sur le "Hôtes actuellement gérés», Sélectionnez tous les hôtes en sélectionnantNom d'hôte' et continue.
  Hôtes actuellement gérés 
16. Sélectionner le référentiel - en utilisant Colis est le moyen recommandé. Cliquez sur 'Plus d'options'Pour configurer le référentiel.
  Sélectionner le référentiel 
17. Entrez l'URL du référentiel local comme mentionné ci-dessous. Supprimer tous les référentiels publics restants qui pointent le Web (Référentiels de Cloudera).
  Paramètres du référentiel de colis 
C'est le CDH URL du référentiel local dans lequel nous avons maître1.
 
http: // 104.211.95.96 / Cloudera-Repos / CDH / 
  Cloudera Repo 
18. Une fois l'URL du référentiel entré, cette page affichera uniquement les colis disponibles. Continuer cette étape.
  Sélectionner les paramètres du référentiel 
19. Maintenant, les colis sont téléchargés, distribués, déballés et activés dans tous les serveurs disponibles.
  Installer des colis 
20. Une fois la Colis CDH sont activés, inspecter le Grappe. Cette étape fera un bilan de santé du cluster. Ici, nous sautons et continuons.
  Inspecter le cluster 
Étape 5: Configuration du cluster
 
21. Ici, nous devons sélectionner le Prestations de service à installer Grappe. Certaines combinaisons emballées seront disponibles par défaut, nous allons avec Services personnalisés.
  Configuration de la cluster 
22. Dans Services personnalisés, Nous installons uniquement Composants principaux (HDFS et FIL) pour cette démonstration.
  Installer des services 
23. Attribuer les rôles au serveur. Nous pouvons personnaliser en fonction de nos exigences. Trouver le graphique ci-dessous qui décrit le Répartition des rôles pour un petit groupe de base avec 5 à 20 nœuds avec une haute disponibilité.
  Attribuer des rôles  Distributions de rôles recommandés 
24. Sélectionnez le type de base de données, le nom d'hôte, le nom DB, le nom d'utilisateur et le mot de passe. Comme nous utilisons PostgreSQL intégrés, il sera sélectionné par défaut. Tester la connexion, elle devrait réussir.
  Configuration de la base de données 
25. Cette page affichera les paramètres de configuration par défaut de HDFS et Fil, y compris les répertoires de données. Passez en revue tous les détails de la configuration et vous pouvez apporter des modifications si nécessaire. Puis continuez avec ça.
  Examiner les paramètres de configuration 
26. Cette page affichera les détails du 'Première exécution' commande. Vous pouvez l'étendre pour voir les détails des commandes en cours d'exécution. S'il y a des problèmes de réseau ou d'autorisation dans le cluster, cette étape fera échouer. Habituellement, cette étape décide de l'installation fluide du bâtiment du cluster.
  Commandes d'exécution d'abord  Commandes en cours d'exécution 
27. Une fois l'étape ci-dessus terminée, cliquez surFinir'Pour terminer l'installation. Ceci est le tableau de bord de Cloudera Manager après l'installation de CDH.
 
http: // 104.211.95.96: 7180 / cmf / maison 
  Tableau de bord Cloudera Manager 
Conclusion
 
Nous avons terminé le Cloudera Manager et CDH Installation avec succès. Dans le Tableau de bord Cloudera Manager, Vous pouvez trouver un ensemble de graphiques prédéfinis où vous pouvez surveiller le processeur en cluster, le disque IO, etc. Nous pouvons gérer l'ensemble du cluster en utilisant ce Cloudera Manager. Nous verrons toutes les opérations administratives dans les prochains articles.