Installer et configurer Apache Oozie Workflow Scheduler pour CDH 4.X sur rhel / centos 6/5

Oozie est un planificateur open source pour Hadoop, Cela simplifie le flux de travail et la coordonnée entre les emplois. Nous pouvons définir la dépendance entre les travaux pour une données d'entrée et donc peut automatiser la dépendance aux travaux à l'aide du planificateur OOZE.

Dans ce tutoriel, j'ai installé Oozie sur mon nœud maître (je.e. maître comme nom d'hôte et où Namenode / jt sont installés) cependant dans le système de production, Oozie doit être installée sur un nœud Hadoop séparé.

Les instructions d'installation sont divisées en deux parties, nous l'appelons UN et B.

1. UN. Installation d'Oozie.
2. B. Configuration Oozie.

Vérifions d'abord le nom d'hôte système, en utilisant suivant 'nom d'hôte' commande.

[[Protégé par e-mail]] # Nom d'hôte maître

Méthode A: Installation d'Oozie sur Rhel / Centos 6/5

Nous utilisons le référentiel CDH officiel du site de Cloudera pour installer CDH4. Accédez à la section officielle de téléchargement CDH et téléchargez CDH4 (i.e. 4.6) version ou vous pouvez également utiliser wget commande pour télécharger le référentiel et l'installer.

Sur rhel / centos 6

# wget http: // archive.cloudera.com / cdh4 / un clic-stall / redhat / 6 / i386 / cloudera-cdh-4-0.i386.RPM # yum --nogpgcheck localinstall Cloudera-CDH-4-0.i386.RPM # wget http: // archive.cloudera.com / cdh4 / un clic-stall / redhat / 6 / x86_64 / cloudera-cdh-4-0.x86_64.RPM # yum --nogpgcheck localinstall Cloudera-CDH-4-0.x86_64.RPM

Sur rhel / centos 5

# wget http: // archive.cloudera.com / cdh4 / un clic-stall / redhat / 5 / i386 / cloudera-cdh-4-0.i386.RPM # yum --nogpgcheck localinstall Cloudera-CDH-4-0.i386.RPM # wget http: // archive.cloudera.com / cdh4 / un clic-install / redhat / 5 / x86_64 / cloudera-cdh-4-0.x86_64.RPM # yum --nogpgcheck localinstall Cloudera-CDH-4-0.x86_64.RPM

Une fois, vous avez ajouté le référentiel CDH sous votre système, vous pouvez utiliser la commande suivante pour installer Oozie sur le système.

[[Protégé par e-mail] ~] # yum install oozie

Maintenant, installez le client OoZie (la commande ci-dessus devrait couvrir la pièce d'installation du client, mais essayez alors la commande ci-dessous).

[[Protégé par e-mail] ~] # yum install oozie-client

Note: L'installation ci-dessus configure également le service Oozie pour s'exécuter au démarrage du système. Bon travail! Nous avons fini avec la première partie de l'installation maintenant, passons à la deuxième partie pour configurer Oozie.

Méthode B: Configuration Oozie sur RHEL / CENTOS 6/5

Comme Oozie n'interagit pas directement avec Hadoop, nous n'avons pas besoin de configuration mappée ici.

Avertir: Veuillez configurer tous les paramètres pendant que Oozie ne fonctionne pas, ce qui signifie que vous devez suivre les étapes ci-dessous tandis que le service Oozie ne fonctionne pas.

Oozie a 'Derby`` Comme défaut, cependant, je vous recommande d'utiliser MySQL DB. Alors, installons la base de données MySQL en utilisant l'article suivant.

1. Installez la base de données MySQL dans RHEL / CENTOS 6/5

Une fois que vous avez terminé la partie d'installation, vous déplacez ensuite plus loin pour créer des privilèges Oozie DB et Grant comme indiqué ci-dessous.

[[Protégé par e-mail] ~] # MySQL -uroot -p Entrez le mot de passe: Bienvenue dans le moniteur MySQL. Les commandes se terminent avec; ou \ g. Votre ID de connexion MySQL est 3 Version du serveur: 5.5.38 MySQL Community Server (GPL) par Remi Copyright (C) 2000, 2014, Oracle et / ou ses affiliés. Tous les droits sont réservés. Oracle est une marque déposée d'Oracle Corporation et / ou de ses affiliés. D'autres noms peuvent être les marques de leurs propriétaires respectifs. Type 'help;' ou '\ h' pour obtenir de l'aide. Tapez '\ c' pour effacer l'instruction de saisie actuelle. mysql> Créer une base de données Oozie; Requête ok, 1 rangée affectée (0.00 sec) mysql> accorder tous les privilèges sur Oozie.* à «oozie» @ «localhost» identifié par «oozie»; Requête ok, 0 lignes affectées (0.00 sec) mysql> accorder tous les privilèges sur Oozie.* à 'Oozie' @ '%' identifié par 'Oozie'; Requête ok, 0 lignes affectées (0.00 sec) mysql> sortie Au revoir

Ensuite, configurez les propriétés Oozie pour MySQL. Ouvrir 'site d'Oozie.xml«Fixer et modifier les propriétés suivantes comme indiqué.

[[e-mail protégé] ~] # cd / etc / oozie / conf [[e-mail protégé] conf] # vi oozie-site.xml

Entrez les propriétés suivantes (remplacez simplement maître [mon nom d'hôte] avec votre nom d'hôte).

 Oozie.service.Jpaservice.JDBC.conducteur com.mysql.JDBC.Chauffeur Oozie.service.Jpaservice.JDBC.URL JDBC: mysql: //maître: 3306 / Oozie Oozie.service.Jpaservice.JDBC.Nom d'utilisateur Oozie Oozie.service.Jpaservice.JDBC.mot de passe ozie 

Télécharger et ajouter le Mysql jdbc Pot de conducteur de connectivité au répertoire Oozie Lib. Pour ce faire, exécutez le grave de commandement suivant sur le terminal.

[[Protégé par e-mail] Oozie] # CD / TMP / [[Email Protected] TMP] # WGET HTTP: // Dev.mysql.com / get / downloads / connecteur-j / mysql-connecteur-java-5.1.31.le goudron.gz [[e-mail protégé] TMP] # TAR -ZXF MySQL-Connector-Java-5.1.31.le goudron.GZ [[e-mail protégé] TMP] # CD MySQL-Connector-Java-5.1.31 [[e-mail protégé] MySQL-Connector-Java-5.1.31] # CP MySQL-Connector-Java-5.1.31 bacs.jar / var / lib / oozie /

Créez un schéma de base de données Oozie en exécutant des commandes ci-dessous et veuillez noter que cela devrait être exécuté en tant qu'utilisateur Oozie.

[[e-mail protégé] ~] # sudo -u oozie / usr / lib / oozie / bin / ooziedb.sh Create -run

Échantillon de sortie

Définition oozie_config = / etc / oozie / conf paramètre oozie_data = / var / lib / oozie setting oozie_log = / var / log / oozie setting ozie_catalina_home = / usr / lib / bigtop-tomcat setting / var / run / oozie / oozie.PID RETURT CATALINA_BASE = / USR / LIB / OOZIE / OOZIE-SERVER-0.20 Réglage Catalina_opts = -xmx1024m Setting Oozie_HTTPS_PORT = 11443… FAIT OOZIE DB a été créé pour la version Oozie '3.3.2-CDH4.7.0 'Les commandes SQL ont été écrites à: / tmp / ooziedb-8250405588513665350.SQL

Vous devez télécharger Extjs lib d'Internet pour activer la console Web Oozie. Accédez à la page officielle du CDH Extjs et téléchargez Extensibles version 2.2 bibliothèques ou vous pouvez télécharger le package en utilisant la commande suivante.

[[Email Protected] ~] # CD / TMP / [[Email Protected] TMP] # WGET HTTP: // Archive.cloudera.com / gplextras / misc / ext-2.2.zip [[e-mail protégé] tmp] # unzip ext-2.2.zip [[e-mail protégé] tmp] # mv ext-2.2 / var / lib / oozie /

Enfin, démarrez le serveur Oozie, en exécutant les commandes suivantes.

[[Protégé par e-mail] TMP] # Service Statut Oozie Ne fonctionne pas. [[e-mail protégé] TMP] # Service Oozie start [[e-mail protégé] TMP] # Service Statut Oozie exécutant [[Email Protected] TMP] # Oozie Admin -oozie http: // LocalHost: 11000 / Oozie -Status System Mode: Normal

Ouvrez Oozie UI en utilisant votre navigateur préféré et pointez votre adresse IP. Dans ce cas, mon IP est 192.168.1.129.

http: // 192.168.1.129: 11000

Maintenant si vous voyez cette interface utilisateur. Toutes nos félicitations!! Vous avez configuré avec succès Oozie.

Cette procédure a été testée avec succès sur Rhel/ /Centos 6/5. Dans mes prochains articles, je vais partager comment configurer et planifier des travaux Hadoop via Oozie. Restez connecté pour plus et n'oubliez pas de commenter vos commentaires.