【Pertempuran Praktis】 Penyetelan parameter Kafka memecahkan masalah isi pesan yang terlalu besar

Sampah kecil · Diposting pada 13/12/2021 16.25.11

Saat mengirim pesan menggunakan Kafka, produser max.request.size default menjadi:1048576(1M) berukuran.

Jika isi pesan produsen melebihi 1 MB, kesalahan berikut akan dilaporkan:

Pesan 18685640 byte saat diserialisasikan yang lebih besar dari 1048576, yang merupakan nilai konfigurasi max.request.size.

larutan

Misalnya, dalam proyek musim semi, atur ukuran permintaan maksimum dalam file konfigurasi proyek20MBSebagai berikut:

Login terlihat.

Setelah penyiapan selesai, mulai ulang proyek, dan Anda dapat melihat bahwa pengaturannya telah berhasil, seperti yang ditunjukkan pada gambar di bawah ini:

Ketika pesan yang dikirim melebihi 1MB, kesalahan baru akan dilaporkan, sebagai berikut:

Permintaan tersebut menyertakan pesan yang lebih besar dari ukuran pesan maksimum yang akan diterima server.

larutan

Masuk ke server Kafka dan ubahserver.properties, tambahkan konfigurasi berikut:

Login terlihat.

Default: 1000012, mendekati 1M, ukuran maksimum pesan yang dapat diterima server.

Mulai ulang layanan Kafka dan masalah teratasi.

Tidak ada pengaturan lain untuk konsumenMisalnya:

Login terlihat.

(Akhir)

Sampah kecil · Diposting pada 13/12/2021 16.31.31

Catatan: Parameter ini tidak berfungsi pada topik yang dibuat setelah disesuaikan

Sesuaikan parameter topik yang dibuat: bin/kafka-configs.sh --zookeeper localhost:2181 --alter --topic topicName --config max.message.bytes=62914560

Solusi sempurna

ikan terbang · Diposting pada 26/12/2021 17.16.30

Belajar untuk belajar...

【Pertempuran Praktis】 Penyetelan parameter Kafka memecahkan masalah isi pesan yang terlalu besar

Pos terkait

Bagian yang dilihat