Błąd Windows Kafka Nie udało się wyczyścić logu __consumer_offsets

Mały śmiecie · Opublikowano 06.07.2021 13:30:04

Recenzja:

Kafka konfiguruje zdalny monitoring JMX
https://www.itsvse.com/thread-9968-1-1.html

Szczegółowe wyjaśnienie parametrów konfiguracji Kafki
https://www.itsvse.com/thread-9965-1-1.html

Kafka ręcznie ustawia offset offset
https://www.itsvse.com/thread-9641-1-1.html

Operacje Kafki dla kolejek komunikatów .NET/C# [z kodem źródłowym]
https://www.itsvse.com/thread-9619-1-1.html

Błąd Kafki w Windows wygląda następująco:

[2021-07-06 09:05:54,809] BŁĄD Nie udało się oczyścić logu dla __consumer_offsets-42 w kierunku C:\tmp\kafka-logs z powodu IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] BŁĄD [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Nie udało się znaleźć offsetowego pliku indeksowego odpowiadającego plikowi logu C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, odzyskując segmenty i odbudowując pliki indeksowe... (kafka.log.Log)

[2021-07-06 09:06:10,607] BŁĄD Błąd podczas tworzenia ephemeral na /brokers/ids/0, węzeł już istnieje, a właściciel '72057597827809280' nie zgadza się z aktualną sesją '72057597827809313' (kafka.zk.KafkaZkClient$ CheckedEphemeral)
[2021-07-06 09:06:10,616] BŁĄD [KafkaServer id=0] Błąd śmiertelny podczas uruchamiania KafkaServer. Przygotuj się do wyłączenia (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
na stronie org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
Na Kafkę. Kafka$.main(Kafka.scala:109)
Na Kafkę. Kafka.main(Kafka.scala)

Rozwiązanie tymczasowe

Zatrzymaj zookeepera i Kafkę, usuń wszystkie pliki z folderu C:\tmp\kafka-logs\__consumer_offsets-42\.

Mały śmiecie · Opublikowano 06.07.2021 13:34:36

Proces Kafki czasem się zawiesza.

1、BŁĄD Nie udało się oczyścić logu dla __consumer_offsets-30 w dir /tmp/kafka-logs z powodu IOException (kafka.server.LogDirFailureChannel)

2. Linux regularnie czyści pliki w katalogu /tmp, a mój katalog plików logów Kafka jest umieszczany w katalogu /tmp/kafka-logs, co powoduje regularne czyszczenie, więc Kafka popełnia błąd podczas odczytu lub dodawania logów.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Modyfikacja
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Restart Kafki
5. Dodaj katalog logów Kafka do białej listy czyszczenia
Czyszczenie katalogu /tmp w centos7 odpowiada za usługę systemd, a powiązane pliki konfiguracyjne znajdują się w katalogu /usr/lib/tmpfiles.d, modyfikujemy plik konfiguracyjny tmp.conf i dodajemy do niego katalog logów kafka.
#防止删除kafka日志文件
X /tmp/kafka-logs

Czyszczenie katalogu /tmp w centos6 odbywa się za pomocą tmpwatch, który opiera się na czasie cron, a plik harmonogramowania to /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Mały śmiecie · Opublikowano 12.07.2021 10:57:17

System Windows Kafka zawiesza się po pewnym czasie pracy
https://www.itsvse.com/thread-9984-1-1.html

Błąd Windows Kafka Nie udało się wyczyścić logu __consumer_offsets

Powiązane wpisy

Oglądane sekcje