Windows Kafka ГРЕШКА Не успя да почисти лога за __consumer_offsets

Малък боклук · Публикувано в 6.07.2021 г. 13:30:04 ч.

Преглед:

Kafka конфигурира дистанционното наблюдение на JMX
https://www.itsvse.com/thread-9968-1-1.html

Подробно обяснение на параметрите на конфигурацията на Кафка
https://www.itsvse.com/thread-9965-1-1.html

Kafka ръчно задава офсетния офсет
https://www.itsvse.com/thread-9641-1-1.html

Кафка операции за .NET/C# опашки за съобщения [с изходен код]
https://www.itsvse.com/thread-9619-1-1.html

Грешката на Windows Kafka е следната:

[2021-07-06 09:05:54,809] ГРЕШКА Не успя да почисти лог за __consumer_offsets-42 в dir C:\tmp\kafka-logs поради IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] ГРЕШКА [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Не можа да се намери offset index файл, съответстващ на log файл C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, възстановяване на сегменти и възстановяване на индексни файлове... (kafka.log.Log)

[2021-07-06 09:06:10,607] ГРЕШКА Грешка при създаване на ефемерен в /brokers/ids/0, възелът вече съществува и собственикът '72057597827809280' не съвпада с текущата сесия '72057597827809313' (kafka.zk.KafkaZkClient$ Проверен Ефемерал)
[2021-07-06 09:06:10,616] ГРЕШКА [KafkaServer id=0] Фатална грешка при стартиране на KafkaServer. Пригответе се за изключване (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
на org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
В Кафка. Kafka$.main(Kafka.scala:109)
В Кафка. Kafka.main(Kafka.scala)

Временно решение

Спри зоопазача и Кафка, изтрий всички файлове под папката C:\tmp\kafka-logs\__consumer_offsets-42\.

Малък боклук · Публикувано в 6.07.2021 г. 13:34:36 ч.

Процесът на Кафка понякога прекъсва.

1、ГРЕШКА Не успя да се почисти log за __consumer_offsets-30 в dir /tmp/kafka-logs поради IOException (kafka.server.LogDirFailureChannel)

2. Linux редовно почиства файловете в /tmp директорията, а моята kafka log директория се поставя в /tmp/kafka-logs, което води до редовно почистване и Kafka прави грешка при опит да чете или добавя логове.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Модифициране
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Рестартиране на Кафка
5. Добави директорията с Kafka log в белия списък за почистване
Изчистването на директорията /tmp под centos7 отговаря за service-systemd, а свързаните с него конфигурационни файлове се намират в директорията /usr/lib/tmpfiles.d; модифицираме конфигурационния файл tmp.conf и добавяме kafka log директорията към него.
#防止删除kafka日志文件
X /tmp/kafka-logs

Почистването на директорията /tmp в centos6 се осъществява чрез tmpwatch, който разчита на времето на cron, а файлът за планиране е /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Малък боклук · Публикувано в 12.07.2021 г. 10:57:17 ч.

Системата Kafka Windows затваря след определен период на работа
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka ГРЕШКА Не успя да почисти лога за __consumer_offsets

Свързани публикации

Разгледани секции