Hadoop commande pour gérer les fichiers sur HDFS

Ce tutoriel vous aide à apprendre à gérer nos fichiers sur HDFS à Hadoop. Vous apprendrez à créer, télécharger, télécharger et répertorier le contenu dans HDFS. Les commandes ci-dessous vous aideront à créer une structure de répertoire dans HDFS, à copier des fichiers du système de fichiers local à HDFS et à télécharger des fichiers de HDFS vers des fichiers locaux. Aussi comment gérer les fichiers dans HDFS.

Créer un répertoire dans HDFS

Prend le chemin Uri comme un argument et crée un répertoire ou plusieurs répertoires.

HDFS DFS -MKDIR  

N'oubliez pas que vous devez créer un répertoire domestique dans HDFS avec le nom d'utilisateur de votre système. Par exemple, vous êtes connecté en tant que HDUser sur votre système, alors créez d'abord / utilisateur / hduser, sinon vous obtiendrez cette erreur, créez maintenant une structure de répertoire à l'intérieur

HDFS DFS -MKDIR / USER / HDUSER HDFS DFS -MKDIR / USER / HDUSER / INPUT HDFS DFS -MKDIR / USER / HDUSER / OUTPUT HDFS DFS -MKDIR / USER / HDUSER / INPUT / Text / User / Hadoop / Input / XML 

Copier les fichiers à HDFS

Après avoir créé une structure de répertoire, mettez maintenant certains fichiers à HDFS à partir de votre système de fichiers local.

HDFS DFS -PUT LOCAL_FILE HDFS_PATH 

Par exemple, vous avez test1.SMS dans le répertoire actuel et / tmp / test2.xml sur votre système de fichiers local.

HDFS DFS -PUT Text1.txt / user / hduser / input / text / hdfs dfs -put / tmp / text2.xml / user / hduser / input / xml / 

Liste des fichiers à partir de HDFS

Utilisez l'exemple suivant des commandes pour répertorier le contenu du répertoire dans HDFS.

HDFS DFS -LS / USER / HDUSER HDFS DFS -LS / USER / HDUSER / INPUT / HDFS DFS -LS / USER / HDUSER / INPUT / Text / 

Utiliser -R pour énumérer les fichiers récursivement dans les répertoires. Par exemple:

hdfs dfs -ls -r / user / hadoop / input / 

Télécharger des fichiers à partir de HDFS

À ce stade, vous avez appris à copier et à répertorier des fichiers sur HDFS. Utilisez maintenant les commandes d'exemple suivantes pour télécharger / copier des fichiers de HDFS au système de fichiers local.

HDFS DFS -Get / User / HDUser / Input / Text / Test1.txt / tmp / hdfs dfs -get / user / hadoop / dir1 / xml / test2.xml / tmp / 

ici / tmp est sur le système de fichiers local du système.

Copier les fichiers entre les répertoires HDFS

Vous pouvez facilement copier des fichiers entre le système de fichiers HDFS à l'aide de l'option DISTCP.

hdfs Distcp / user / hduser / input / xml / text2.XML / USER.xml / utilisateur / hduser / sortie