【Praktisk kamp】Kafka parameterjustering løser problemet med for stor meldingskropp

Lille skurk · Publisert på 13.12.2021 16:25:11

Når meldinger sendes med Kafka, går produsenten max.request.size som standard til:1048576(1M) i størrelse.

Hvis produsentens meldingstekst overstiger 1 MB, rapporteres følgende feil:

Meldingen er 18685640 bytes når den serialiseres, noe som er større enn 1048576, som er verdien av max.request.size-konfigurasjonen.

løsning

For eksempel, i vårprosjektet, sett maksimal forespørselsstørrelse i prosjektets konfigurasjonsfil20MBSom følger:

Innlogging er synlig.

Etter at oppsettet er fullført, starter du prosjektet på nytt, og du kan se at innstillingene har fungert, som vist i figuren nedenfor:

Når meldingen som sendes overstiger 1 MB, rapporteres en ny feil, som følger:

Forespørselen inkluderte en melding større enn den maksimale meldingsstørrelsen serveren vil akseptere.

løsning

Logg inn på Kafka-serveren og endreserver.egenskaperfil, legg til følgende konfigurasjon:

Innlogging er synlig.

Standard: 1000012, nær 1M, den maksimale størrelsen på meldinger serveren kan motta.

Start Kafka-tjenesten på nytt, og problemet er løst.

Det finnes ingen andre innstillinger for forbrukereFor eksempel:

Innlogging er synlig.

(Slutt)

Lille skurk · Publisert på 13.12.2021 16:31:31

Merk: Denne parameteren fungerer ikke på det opprettede temaet etter at det er justert

Juster de opprettede topic-parameterne: bin/kafka-configs.sh --zookeeper localhost:2181 --alter --topic topicName --config max.message.bytes=62914560

Perfekt løsning

flygefisk · Publisert på 26.12.2021 17:16:30

Lær å lære...

【Praktisk kamp】Kafka parameterjustering løser problemet med for stor meldingskropp

Relaterte innlegg

Seksjoner sett