Windows Kafka ОШИБКА Не удалось очистить журнал для __consumer_offsets

Маленькая мразь · Опубликовано 06.07.2021 13:30:04

Обзор:

Kafka настраивает удалённый мониторинг JMX
https://www.itsvse.com/thread-9968-1-1.html

Подробное объяснение параметров конфигурации Кафки
https://www.itsvse.com/thread-9965-1-1.html

Kafka вручную устанавливает смещение
https://www.itsvse.com/thread-9641-1-1.html

Операции Kafka для очередей сообщений .NET/C# [с исходным кодом]
https://www.itsvse.com/thread-9619-1-1.html

Ошибка Windows Kafka следующая:

[2021-07-06 09:05:54,809] ОШИБКА Не удалось очистить журнал для __consumer_offsets-42 в dir C:\tmp\kafka-logs из-за IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] ОШИБКА [Partition log=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Не удалось найти файл индекса смещения, соответствующий файлу log C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, восстановление сегментов и восстановление индексных файлов... (kafka.log.Log)

[2021-07-06 09:06:10,607] ОШИБКА При создании эфемерного по адресу /brokers/ids/0 узел уже существует, и владелец '72057597827809280' не совпадает с текущей сессией '72057597827809313' (kafka.zk.KafkaZkClient$ CheckedEphemeral)
[2021-07-06 09:06:10,616] ОШИБКА [KafkaServer id=0] Фатальная ошибка при запуске KafkaServer. Подготовиться к выключению (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
на сайте org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
В Кафке. Kafka$.main(Kafka.scala:109)
В Кафке. Kafka.main(Kafka.scala)

Временное решение

Остановите смотрителя зоопарка и Кафку, удалите все файлы из папки C:\tmp\kafka-logs\__consumer_offsets-42\.

Маленькая мразь · Опубликовано 06.07.2021 13:34:36

Процесс Кафки время от времени останавливается.

1、ОШИБКА Не удалось очистить журнал для __consumer_offsets-30 в dir /tmp/kafka-logs из-за IOException (kafka.server.LogDirFailureChannel)

2. Linux регулярно очищает файлы в каталоге /tmp, а мой каталог журналов Kafka помещается в каталог /tmp/kafka-logs, что приводит к регулярной очистке, поэтому Kafka будет ошибаться при попытке прочитать или добавить логи.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Модифицировать
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Перезапустить Кафку
5. Добавьте каталог журналов Kafka в белый список очистки
Очистка каталога /tmp под centos7 отвечает за сервисный systemd, а связанные с ним конфигурационные файлы находятся в каталоге /usr/lib/tmpfiles.d; мы изменяем конфигурационный файл tmp.conf и добавляем в него каталог kafka.
#防止删除kafka日志文件
X /tmp/kafka-logs

Очистка каталога /tmp в centos6 осуществляется через tmpwatch, который зависит от тайминга cron, а файл планирования — /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Маленькая мразь · Опубликовано 12.07.2021 10:57:17

Система Kafka Windows отключается после некоторого времени работы
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka ОШИБКА Не удалось очистить журнал для __consumer_offsets

Связанные публикации

Просмотренные разделы