Comment installer et configurer Cloudera Manager sur Centos / Rhel 7 - Partie 3

Dans cet article, nous avons décrit le processus étape par étape pour installer Cloudera Manager Selon les pratiques industrielles. Dans la partie 2, nous avons déjà traversé les pré-requis Cloudera, assurez-vous que tous les serveurs sont parfaitement préparés.

Exigences

• Meilleures pratiques pour le déploiement du serveur Hadoop sur Centos / Rhel 7 - Partie 1
• Configuration de Hadoop avant les requis et le durcissement de la sécurité - Partie 2

Ici, nous allons avoir un cluster de 5 nœuds où 2 maîtres et 3 travailleurs. j'ai utilisé 5 AWS EC2 Instances pour démontrer la procédure d'installation. J'ai nommé ces 5 serveurs ci-dessous.

maître1.Tecmint.com maître2.Tecmint.com Worker1.Tecmint.com Worker2.Tecmint.Com Worker3.Tecmint.com 

Cloudera Manager est un outil administratif et de surveillance pour l'ensemble CDH. Nous administrons généralement cela un outil de gestion pour Cloudera Hadoop. Nous pouvons déployer, surveiller, contrôler et apporter des modifications de configuration avec l'utilisation de cet outil. Ceci est très essentiel pour gérer l'ensemble du cluster.

Vous trouverez ci-dessous les utilisations importantes de Cloudera Manager.

• Déployer et configurer les clusters Hadoop de manière automatisée.
• Surveiller la santé des grappes
• Configurer les alertes
• Dépannage
• Déclaration
• Rapport d'utilisation des cluster
• Configuration des ressources dynamiquement

Étape 1: Installation du serveur Web Apache sur CentOS

Nous allons utiliser le maître1 En tant que serveur Web pour les référentiels Cloudera. De plus, Cloudera Manager est webui, donc nous devons avoir Apache installée. Suivez les étapes ci-dessous pour installer le serveur Web Apache.

# yum -y installer httpd 

Une fois installé HTTPD, démarrez-le et activez pour qu'il soit démarré sur le démarrage.

# systemctl start httpd # systemctl activer httpd 

Après avoir commencé HTTPD, assurez-vous le statut.

# Statut SystemCTL Httpd 

Vérifier le statut

Après avoir démarré HTTPD, ouvrez un navigateur dans votre système local et collez l'adresse IP de maître1 Dans la barre de recherche, vous devriez obtenir cette page de test pour vous assurer que HTTPD fonctionne bien.

Vérifier la page Web Apache

Étape 2: Configurer les DN locaux pour résoudre IP et nom d'hôte

Nous devons avoir un serveur DNS ou configurer / etc / hôtes Pour résoudre IP et nom d'hôte. Ici, nous configurons / etc / hôtes, Mais en temps réel, un serveur DNS dédié sera là pour l'environnement de production.

Suivez les étapes ci-dessous pour faire une entrée pour tous vos serveurs dans / etc / hôtes.

# vi / etc / hôtes 

Cela doit être configuré dans tous les serveurs.

13.235.27.144 Master1.Tecmint.com maître1 13.235.135.170 Master2.Tecmint.com maître2 15.206.167.94 Worker1.Tecmint.Com Worker1 13.232.173.158 Worker2.Tecmint.com Worker2 65.0.182.222 Worker3.Tecmint.Com Worker3 

Configurer le DNS local

Étape 3: Configurer la connexion sans mot de passe SSH

Cloudera Manager est installé sur maître1 dans cette démonstration. Nous devons configurer SSH sans mot de passe à partir de maître1 à tous les autres nœuds. Parce que le Cloudera Manager utilisera SSH pour communiquer tous les autres nœuds pour installer des packages.

Suivez les étapes ci-dessous pour configurer SSH sans mot de passe depuis maître1 à tous les serveurs restants. Nous allons avoir un utilisateur 'Tecmint'Pour avancer.

Créer un utilisateur 'Tecmint'Tous les 4 serveurs utilisant la commande userAdd comme indiqué.

# userAdd -m Tecmint 

Pour donner le privilège racine à l'utilisateur 'Tecmint', Ajoutez la ligne ci-dessous dans / etc / sudoers déposer. Vous pouvez ajouter cette ligne sous la racine comme donner dans la capture d'écran.

Tecmint tout = (tout) tout 

Ajouter l'utilisateur à Sudo

Passer à l'utilisateur 'Tecmint'et créer une clé ssh dans le maître1 Utilisation de la commande ci-dessous.

# sudo su tecmint $ ssh-keygen 

Copiez maintenant la clé créée sur les 4 serveurs en utilisant le ssh-copy-id Commande comme indiqué.

$ ssh-copy-id -i ~ /.ssh / id_rsa.Pub [Protégé par e-mail] $ ssh-copy-id -i ~ /.ssh / id_rsa.Pub [Protégé par e-mail] $ ssh-copy-id -i ~ /.ssh / id_rsa.Pub [Protégé par e-mail] $ ssh-copy-id -i ~ /.ssh / id_rsa.Pub [Protégé par e-mail] 

Maintenant tu devrais pouvoir ssh maître1 Pour rester tous les serveurs sans mot de passe comme indiqué.

$ ssh maître2 $ ssh wearch1 $ ssh worker2 $ ssh wearch3 

Serveurs de connexion sans mot de passe SSH

Étape 4: Installation et configuration de Cloudera Manager

Nous pouvons utiliser le fournisseur (Cloudera) Référentiel pour installer tous les packages à l'aide des outils de gestion des packages dans RHEL / CENTOS. En temps réel, la création de notre propre référentiel est la meilleure pratique car nous n'aurons peut-être pas accès à Internet dans les serveurs de production.

Ici, nous allons installer Cloudera Manager 6.3.1 libérer. Puisque nous allons utiliser maître1 En tant que serveur Repo, nous téléchargeons les packages dans le chemin mentionné ci-dessous.

Créer les répertoires mentionnés ci-dessous sur maître1 serveur.

$ sudo mkdir -p / var / www / html / cloudera-repos / cm6 

Nous pouvons utiliser l'outil WGET pour télécharger des packages sur http. Alors, installez wget Utilisation de la commande ci-dessous.

$ sudo yum -y install wget 

Ensuite, téléchargez le fichier TAR Cloudera Manager en utilisant la commande wget suivante.

$ wget https: // archive.cloudera.com / cm6 / 6.3.1 / repo-as-tarball / cm6.3.1-redhat7.le goudron.gz 

Extraire le fichier de goudron dans / var / www / html / cloudera-repos / cm6, déjà nous avons fait maître1 En tant que serveur Web en installant http Et nous avons testé sur le navigateur.

$ sudo tar xvfz cm6.3.1-redhat7.le goudron.gz -c / var / www / html / cloudera-repos / cm6 - strip-components = 1 

Maintenant, vérifiez que tous les fichiers RPM Cloudera sont là / var / www / html / cloudera-repos / cm6 / rpms / x86_64 annuaire.

$ cd / var / www / html / cloudera-repos / cm6 $ ll 

Liste des fichiers Cloudera

Créer / etc / yum.se soustraire.d / cloudera-manager.repo Fichiers sur tous les serveurs des hôtes de cluster avec le contenu suivant, ici maître1 (65.0.101.148) est le serveur Web.

[cloudera-repo] name = cloudera-manager substanl = http: /// cloudera-repos / cm6 / activé = 1 gpgcheck = 0 

Maintenant, le référentiel a été ajouté, exécutez la commande ci-dessous pour afficher les référentiels activés.

$ yum Repolist 

Liste du référentiel Cloudera

Exécutez la commande ci-dessous pour afficher tous les packages liés à Cloudera disponibles dans le référentiel.

$ yum List disponible | grep Cloudera * 

Liste des packages Cloudera

Installez Cloudera-Manager-Server, Cloudera-Manager-Agent, Cloudera-Manager-Daemons Cloudera-Manager-Server-DB-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2 

Installez Cloudera dans Centos

Exécutez la commande ci-dessous pour afficher tous les packages Cloudera installés.

$ Yum List installé | grep Cloudera * 

Liste des packages Cloudera installés

Exécutez la commande ci-dessous pour démarrer le Cloudera-SCM-Server-DB qui est une base de données sous-jacente à stocker Cloudera Manager et d'autres métadonnées de services.

Par défaut, Cloudera vient avec Postgre-SQL qui est intégré dans le Cloudera Manager. Nous installons celui intégré, dans une base de données externe en temps réel qui peut être utilisée. Ça peut être Oracle, Mysql, ou Postgresql.

$ sudo systemctl start Cloudera-scm-server-db 

Exécutez la commande ci-dessous pour vérifier l'état de la base de données.

$ sudo systemctl status cloudera-scm-server-db 

Vérifiez l'état de la base de données Cloudera

Configurer le db.propriétés pour le Cloudera Manager serveur.

$ vi / etc / Cloudera-SCM-Server / DB.propriétés 

Configurer la valeur ci-dessous est EMBARQUÉ faire Cloudera Manager Utilisez le Base de données intégrée.

com.cloudera.cmf.db.setupType = intégré 

Configurer les propriétés de la base de données Cloudera

Exécutez la commande ci-dessous pour démarrer le serveur Cloudera Manager.

$ sudo systemctl start Cloudera-SCM-Server 

Exécutez la commande ci-dessous pour vérifier l'état du Cloudera Manager serveur.

$ sudo systemctl status cloudera-scm-server 

Vérifiez l'état du gestionnaire de Cloudera

Exécutez la commande ci-dessous pour démarrer et vérifier l'état du Cloudera Manager agent.

$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 

Vérifiez l'état de l'agent Cloudera Manager

Une fois la Serveur Cloudera Manager avec succès en cours d'exécution, vous pouvez afficher le webui (page de connexion) dans le navigateur à l'aide de l'adresse IP et du numéro de port 7180 qui est le numéro de port de Cloudera Manager.

https: // 65.0.101.148: 7180 

Connexion Cloudera Manager

Résumé

Dans cet article, nous avons vu un processus étape par étape pour installer Cloudera Manager sur Centos 7. Nous verrons le CDH et d'autres installations de services dans le prochain article.