Este artículo es un artículo espejo de traducción automática, por favor haga clic aquí para saltar al artículo original.

Architect_Programmer_Code Red Agrícola»Arquitecto › Programación › Java › Operaciones API para Hadoop - HDFS
Vista: 15082|Respuesta: 0

[Fuente] Operaciones API para Hadoop - HDFS

[Copiar enlace]
Publicado en 5/7/2019 16:33:58 | | |
1. Introducir dependencia

Nota: Si necesitas importar manualmente el paquete jar, el paquete jar HDFS ---- el directorio de instalación de Hadoop en compartir

2. Descripción del desarrollo bajo ventana

Se recomienda desarrollar aplicaciones Hadoop bajo Linux y no habrá problemas de compatibilidad. Si quieres desarrollar una aplicación cliente en Windows, necesitas configurar el siguiente entorno:

R. Descomprimir un paquete de instalación de Hadoop en un directorio en Windows

B. Sustituir los directorios lib y bin bajo el paquete de instalación por las bibliotecas locales compiladas para la versión correspondiente de Windows de la plataforma

C. Configura el HADOOP_HOME en el sistema de ventanas para que apunte al paquete de instalación que descomprimiste

D. Añadir el directorio bin de Hadoop a la variable de ruta del sistema Windows


Para operar HDFS en Java, primero necesitas obtener una instancia cliente




Nuestro objetivo de operación es HDFS, por lo que el objeto fs obtenido debería ser una instancia de DistributedFileSystem.

Método Get: ¿De dónde viene la clase cliente específica de la instancia?

- Juzgando por el valor de configuración de uno de los parámetros fs.defaultFS en conf;

Si no especificamos fs.defaultFS en nuestro código, y no hay una configuración correspondiente bajo la ruta de clase del proyecto, el valor por defecto en la conf proviene del core-default.xml en el paquete jar de hadoop, y el valor por defecto es: file:///, entonces la adquisición no será una instancia de DistributedFileSystem, sino un objeto cliente del sistema de archivos local;


Adición, eliminación, modificación e inspección de documentos

Accede a HDFS vía transmisión







Anterior:Compilación de comandos del Shell HDFS de Hadoop
Próximo:Solicitud Http C# Archivo de formulario de subida (se pueden añadir parámetros adicionales)

Publicaciones relacionadas
Renuncia:
Todo el software, materiales de programación o artículos publicados por Code Farmer Network son únicamente para fines de aprendizaje e investigación; El contenido anterior no se utilizará con fines comerciales o ilegales; de lo contrario, los usuarios asumirán todas las consecuencias. La información de este sitio proviene de Internet, y las disputas de derechos de autor no tienen nada que ver con este sitio. Debes eliminar completamente el contenido anterior de tu ordenador en un plazo de 24 horas desde la descarga. Si te gusta el programa, por favor apoya el software genuino, compra el registro y obtén mejores servicios genuinos. Si hay alguna infracción, por favor contáctanos por correo electrónico.
Mail To:help@itsvse.com