Windows Kafka ПОМИЛКА Не вдалося очистити журнал для __consumer_offsets

Маленька покидька · Опубліковано 06.07.2021 13:30:04

Огляд:

Kafka налаштовує віддалений моніторинг JMX
https://www.itsvse.com/thread-9968-1-1.html

Детальне пояснення параметрів конфігурації Кафки
https://www.itsvse.com/thread-9965-1-1.html

Кафка вручну встановлює зміщення зсуву
https://www.itsvse.com/thread-9641-1-1.html

Операції Kafka для черг повідомлень .NET/C# [з вихідним кодом]
https://www.itsvse.com/thread-9619-1-1.html

Помилка Windows Kafka виглядає так:

[2021-07-06 09:05:54,809] ПОМИЛКА Не вдалося очистити журнал для __consumer_offsets-42 у dir C:\tmp\kafka-logs через IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] ПОМИЛКА [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Не вдалося знайти зсувний індекс-файл, що відповідає файлу журналу C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, відновлення сегментів і відновлення індексних файлів... (kafka.log.Log)

[2021-07-06 09:06:10,607] ПОМИЛКА При створенні ефемерного у /brokers/ids/0 вузол вже існує, і власник '72057597827809280' не збігається з поточною сесією '72057597827809313' (kafka.zk.KafkaZkClient$ CheckedEphemeral)
[2021-07-06 09:06:10,616] ПОМИЛКА [KafkaServer id=0] Фатальна помилка під час запуску KafkaServer. Підготуватися до вимкнення (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
на org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
У Кафці. Kafka$.main(Kafka.scala:109)
У Кафці. Kafka.main(Kafka.scala)

Тимчасове рішення

Зупиніть zookeeper і Kafka, видаліть усі файли в папці C:\tmp\kafka-logs\__consumer_offsets-42\.

Маленька покидька · Опубліковано 06.07.2021 13:34:36

Процес Кафки час від часу зависає.

1、ПОМИЛКА Не вдалося очистити журнал для __consumer_offsets-30 у dir /tmp/kafka-logs через IOException (kafka.server.LogDirFailureChannel)

2. Linux регулярно очищає файли в каталозі /tmp, а моя каталог журналів Kafka поміщається в каталог /tmp/kafka-logs, через що його регулярно очищають, тому Kafka робить помилку при спробі прочитати або додати журнали.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Модифікувати
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Перезапустити Kafka
5. Додайте каталог журналів Kafka до білого списку очищення
Очищення каталогу /tmp під centos7 відповідає за сервісний systemd, а пов'язані з ним файли конфігурації знаходяться в каталозі /usr/lib/tmpfiles.d, ми змінюємо конфігураційний файл tmp.conf і додаємо до нього каталог журналу kafka.
#防止删除kafka日志文件
X /tmp/kafka-logs

Очищення каталогу /tmp у centos6 здійснюється через tmpwatch, який залежить від таймінгу cron, а файл планування — /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Маленька покидька · Опубліковано 12.07.2021 10:57:17

Система Kafka Windows зависає після певного часу роботи
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka ПОМИЛКА Не вдалося очистити журнал для __consumer_offsets

Пов'язані дописи

Переглянуті розділи