Hadoop HDFS에서 직접 파일을 다운로드하세요

작은 쓰레기 같은 놈들 · 게시됨 2019. 7. 10. 오후 2:20:11

HDFS에서 큰 파일을 다운로드

HDFS 클라이언트에서 약 2GB의 큰 DataInputStream 파일을 받았고, 호스트에 파일로 저장해야 합니다.

아파치 공통 IOUtil을 사용해서 이런 식으로 해볼까 생각 중입니다......

로그인이 보이네요.

이보다 더 나은 다른 해결책을 찾고 있었습니다. 주요 우려는 입력과 IOUtils.copy에서 버퍼링 사용입니다.

2GB를 초과하는 파일은 IOUtils.copyLarge() (같은 IOUtils를 기준으로 할 경우 org.apache.commons.io.IOUtils)를 사용하는 것이 권장됩니다.

IOUtils의 레플리본은 기본 버퍼 크기인 4Kb를 사용합니다(다른 버퍼 크기를 매개변수로 지정할 수도 있습니다).

copy()와 copyLarge()의 차이점은 결과를 반환한다는 점입니다.

copy(), 스트림이 2GB를 넘으면 복사본을 성공적으로 사용할 수 있지만, 결과는 -1입니다.

copyLarge()의 경우 결과는 완전히 복사된 바이트 수입니다.

자세한 내용은 여기에서 확인할 수 있습니다:

하이퍼링크 로그인이 보입니다.

Spring Rest API를 통해 파일이 완전히 다운로드되었는지 확인하는 방법

HDFS에서 파일을 제공하는 간단한 REST API를 만들었어요(파일이 크고 로컬에 복사하고 싶지 않아서요).

파일 다운로드가 성공적으로 완료된 정보를 기록하고 싶은데, 전체 스트림을 읽고 싶은데, 어떻게 해야 할지 모르겠어요. 파일 다운로드가 시작된 정보만 기록할 수 있습니다.

도움 주시면 정말 감사하겠습니다.

로그인이 보이네요.

InputStream에서 래퍼를 만들고 스트림 close(close())에서 플래그를 트리거해 보세요.

예를 들어, ProxyInputStream을 기반으로 사용할 수 있습니다:

로그인이 보이네요.

[출처] Hadoop HDFS에서 직접 파일을 다운로드하세요

관련 게시물

본 섹션