【Практический бой】Настройка параметров Кафки решает проблему слишком большого тела сообщения

Маленькая мразь · Опубликовано 13.12.2021 16:25:11

При отправке сообщений через Kafka producer max.request.size по умолчанию назначает:1048576(1М) по размеру.

Если объём сообщения производителя превышает 1 МБ, сообщается следующая ошибка:

При сериализации сообщение составляет 18685640 байт, что больше 1048576 — значение конфигурации max.request.size.

решение

Например, в весеннем проекте установите максимальный размер запроса в конфигурационном файле проекта20 МБСледующим образом:

Вход виден.

После завершения настройки заново запустите проект, и вы увидите, что настройки прошли успешно, как показано на рисунке ниже:

Когда сообщение превышает 1 МБ, будет сообщена новая ошибка, следующее:

Запрос содержал сообщение, превышающее максимальный размер сообщения, который сервер принимает.

решение

Войдите на сервер Kafka и изменитеserver.propertiesДобавьте следующую конфигурацию:

Вход виден.

По умолчанию: 1000012, близко к 1M, максимальный размер сообщений, который сервер может получить.

Перезапусти сервис Kafka, и проблема решена.

Для потребителей нет других настроекНапример:

Вход виден.

(Конец)

Маленькая мразь · Опубликовано 13.12.2021 16:31:31

Примечание: этот параметр не работает на созданной теме после её корректировки

Настройте созданные параметры темы: bin/kafka-configs.sh --zookeeper localhost:2181 --alter --topic topicName --config max.message.bytes=62914560

Идеальное решение

Летучая Рыба · Опубликовано 26.12.2021 17:16:30

Научись учиться...

【Практический бой】Настройка параметров Кафки решает проблему слишком большого тела сообщения

Связанные публикации

Просмотренные разделы