하둡용 API 연산 - HDFS

작은 쓰레기 같은 놈들 · 게시됨 2019. 7. 5. 오후 4:33:58

1. 의존성 도입

참고: jar 패키지를 수동으로 불러와야 한다면, HDFS jar 패키지가 Hadoop 설치 디렉터리의 공유---- 있습니다

2. 창문 아래의 개발 설명

하둡 애플리케이션을 리눅스에서 개발하는 것이 권장되며, 호환성 문제는 없습니다. Windows에서 클라이언트 애플리케이션을 개발하려면 다음 환경을 설정해야 합니다:

A. 윈도우의 디렉터리에서 하둡 설치 패키지를 압축 해제하기

B. 설치 패키지 내의 라이브러리와 빈 디렉터리를 해당 Windows 버전용 로컬 라이브러리로 대체합니다.

C. 창 시스템에서 HADOOP_HOME 설정하여 언지핑한 설치 패키지를 가리키도록 설정하세요

D. Windows 시스템의 경로 변수에 Hadoop의 bin 디렉터리를 추가합니다.

Java에서 HDFS를 운영하려면 먼저 클라이언트 인스턴스를 확보해야 합니다

로그인이 보이네요.

작업 대상은 HDFS이므로, 얻은 fs 객체는 DistributedFileSystem의 인스턴스여야 합니다.

메서드 이해: 특정 인스턴스 클라이언트 클래스는 어디서 오나요?

- conf에서 fs.defaultFS 매개변수 중 하나의 구성 값을 보면;

만약 코드에서 fs.defaultFS를 지정하지 않고, 프로젝트 클래스패스에 해당 구성이 제공되지 않는다면, conf의 기본값은 hadoop jar 패키지의 core-default.xml에서 나오고 기본값은 file:/// 이라면, 획득은 DistributedFileSystem의 인스턴스가 아니라 로컬 파일 시스템의 클라이언트 객체가 됩니다;

문서의 추가, 삭제, 수정 및 검사

로그인이 보이네요.

스트림을 통한 HDFS 접근

로그인이 보이네요.

[출처] 하둡용 API 연산 - HDFS

관련 게시물

본 섹션