1. Introduire une dépendance
Note : Si vous devez importer manuellement le package jar, le pack jar HDFS ---- le répertoire d’installation Hadoop sous share
2. Description du développement sous la fenêtre
Il est recommandé de développer des applications Hadoop sous Linux, sans aucun problème de compatibilité. Si vous souhaitez développer une application client sous Windows, vous devez configurer l’environnement suivant :
R. Décompresser un paquet d’installation Hadoop dans un répertoire sous Windows
B. Remplacer les répertoires lib et bin du package d’installation par les bibliothèques locales compilées pour la version Windows correspondante de la plateforme
C. Configurez le HADOOP_HOME dans le système de fenêtres pour qu’il pointe vers le paquet d’installation que vous avez dézippé
D. Ajouter le répertoire bin de Hadoop à la variable de chemin du système Windows
Pour faire fonctionner HDFS en Java, il faut d’abord obtenir une instance client
Notre cible d’opération est HDFS, donc l’objet fs obtenu doit être une instance de DistributedFileSystem.
Méthode Get : D’où vient la classe client spécifique de l’instance ?
- En jugeant à partir de la valeur de configuration d’un des paramètres fs.defaultFS dans la conf ;
Si nous ne spécifions pas fs.defaultFS dans notre code, et qu’aucune configuration correspondante n’est donnée sous le chemin de classe du projet, la valeur par défaut dans la conf provient de la core-default.xml dans le package jar de Hadoop, et la valeur par défaut est : file:///, alors l’acquisition ne sera pas une instance de DistributedFileSystem, mais un objet client du système de fichiers local ;
Ajout, suppression, modification et inspection de documents
Accédez à HDFS via le flux
|
Publié sur 05/07/2019 16:33:58
|
|
|
