【Практичний бой】Налаштування параметрів Кафки вирішує проблему надто великого об'єднання повідомлення

Маленька покидька · Опубліковано 13.12.2021 16:25:11

Під час надсилання повідомлень за допомогою Kafka producer max.request.size за замовчуванням на:1048576(1М) за розміром.

Якщо тіло повідомлення продюсера перевищує 1 МБ, повідомляється така помилка:

Повідомлення має 18685640 байтів при серіалізації, що більше за 1048576, що є значенням конфігурації max.request.size.

рішення

Наприклад, у весняному проєкті встановіть максимальний розмір запиту у конфігураційному файлі проєкту20 МБНаступним чином:

Вхід видно.

Після завершення налаштування перезапустіть проєкт, і ви побачите, що налаштування були успішними, як показано на рисунку нижче:

Коли обсяг надісланого повідомлення перевищує 1 МБ, буде зафіксована нова помилка, а саме:

Запит містив повідомлення, що перевищує максимальний розмір повідомлення, який сервер приймає.

рішення

Увійдіть на сервер Kafka та змінітьserver.властивостідодайте таку конфігурацію:

Вхід видно.

За замовчуванням: 1000012, близько 1M, максимальний розмір повідомлень, який сервер може отримати.

Перезапусти сервіс Kafka — і проблема вирішена.

Для споживачів немає інших налаштуваньНаприклад:

Вхід видно.

(Кінець)

Маленька покидька · Опубліковано 13.12.2021 16:31:31

Примітка: Цей параметр не працює на створеній темі після його корекції

Відкоригуйте створені параметри теми: bin/kafka-configs.sh --zookeeper localhost:2181 --alter --topic topicName --config max.message.bytes=62914560

Ідеальне рішення

Літаюча риба · Опубліковано 26.12.2021 17:16:30

Навчися вчитися...

【Практичний бой】Налаштування параметрів Кафки вирішує проблему надто великого об'єднання повідомлення

Пов'язані дописи

Переглянуті розділи