【실용 전투】카프카 매개변수 조정은 너무 큰 메시지 본문 문제를 해결합니다

작은 쓰레기 같은 놈들 · 게시됨 2021. 12. 13. 오후 4:25:11

Kafka를 사용해 메시지를 보낼 때, 생성자 max.request.size 기본값은 다음과 같습니다:1048576(1M) 크기.

프로듀서 메시지 본문이 1MB를 초과하면 다음과 같은 오류가 보고됩니다:

직렬화될 때 메시지는 18685640바이트이며, 이는 max.request.size 구성 값인 1048576보다 큽니다.

용액

예를 들어, 스프링 프로젝트에서는 프로젝트 구성 파일에서 최대 요청 크기를 설정하세요20MB다음과 같습니다:

로그인이 보이네요.

설정이 완료된 후 프로젝트를 재시작하면 아래 그림과 같이 설정이 성공적으로 진행된 것을 확인할 수 있습니다:

전송된 메시지가 1MB를 초과하면 다음과 같이 새로운 오류가 보고됩니다:

요청에는 서버가 허용하는 최대 메시지 크기보다 큰 메시지가 포함되어 있었습니다.

용액

Kafka 서버에 로그인하고 수정하세요server.properties파일을 추가하여 다음과 같은 구성을 추가하세요:

로그인이 보이네요.

기본값: 1000012, 서버가 받을 수 있는 최대 메시지 크기가 약 1M에 가깝습니다.

Kafka 서비스를 재시작하면 문제가 해결됩니다.

소비자를 위한 다른 설정은 없습니다예를 들어:

로그인이 보이네요.

(끝)

작은 쓰레기 같은 놈들 · 게시됨 2021. 12. 13. 오후 4:31:31

참고: 이 매개변수는 조정된 주제에 대해서는 작동하지 않습니다

생성된 주제 매개변수를 조정하세요: bin/kafka-configs.sh --zookeeper localhost:2181 --alter --topic topicName --config max.message.bytes=62914560

완벽한 해결책

날치자리 · 게시됨 2021. 12. 26. 오후 5:16:30

배우기 시작해...

【실용 전투】카프카 매개변수 조정은 너무 큰 메시지 본문 문제를 해결합니다

관련 게시물

본 섹션