Windows Kafka CHYBA Nepodařilo se vyčistit log pro __consumer_offsets

Malý hajzl · Zveřejněno 06.07.2021 13:30:04

Přezkoumání:

Kafka konfiguruje vzdálené monitorování JMX
https://www.itsvse.com/thread-9968-1-1.html

Podrobné vysvětlení parametrů konfigurace Kafky
https://www.itsvse.com/thread-9965-1-1.html

Kafka ručně nastavuje offset offset
https://www.itsvse.com/thread-9641-1-1.html

Operace Kafka pro fronty zpráv .NET/C# [se zdrojovým kódem]
https://www.itsvse.com/thread-9619-1-1.html

Chyba Windows Kafka je následující:

[2021-07-06 09:05:54,809] CHYBA Nepodařilo se vyčistit log pro __consumer_offsets-42 v směru C:\tmp\kafka-logs kvůli IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] CHYBA [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Nepodařilo se najít offset indexový soubor odpovídající log souboru C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, obnovu segmentů a obnovení indexových souborů... (kafka.log.Log)

[2021-07-06 09:06:10,607] ERROR Error při vytváření ephemerálu na /brokers/ids/0, uzel již existuje a vlastník '72057597827809280' neodpovídá aktuální relaci '72057597827809313' (kafka.zk.KafkaZkClient$ CheckedEphemeral)
[2021-07-06 09:06:10,616] CHYBA [KafkaServer id=0] Fatální chyba při spuštění KafkaServeru. Připravte se na vypnutí (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
na org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
Na Kafku. Kafka$.main(Kafka.scala:109)
Na Kafku. Kafka.main(Kafka.scala)

Dočasné řešení

Zastavte zookeepera a Kafku, smažte všechny soubory ve složce C:\tmp\kafka-logs\__consumer_offsets-42\.

Malý hajzl · Zveřejněno 06.07.2021 13:34:36

Proces Kafky se čas od času zasekne.

1、CHYBA Nepodařilo se vyčistit log pro __consumer_offsets-30 v dir /tmp/kafka-logs kvůli IOException (kafka.server.LogDirFailureChannel)

2. Linux pravidelně čistí soubory v adresáři /tmp a můj záznamový adresář Kafka je umístěn v adresáři /tmp/kafka-logs, což vede k pravidelnému čištění, takže Kafka při čtení nebo přidávání logů udělá chybu.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Modifikace
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Restartovat Kafku
5. Přidejte adresář Kafka logů do seznamu povolených pro čištění
Vymazání adresáře /tmp pod centos7 je zodpovědné za službu systemd a související konfigurační soubory jsou v adresáři /usr/lib/tmpfiles.d, konfigurační soubor tmp.conf upravujeme a přidáváme do něj záznamový adresář kafka.
#防止删除kafka日志文件
X /tmp/kafka-logs

Čištění adresáře /tmp v centos6 je realizováno pomocí tmpwatch, který závisí na časování cron, a plánovací soubor je /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Malý hajzl · Zveřejněno 12.07.2021 10:57:17

Systém Kafka Windows se po určité době zavěsí
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka CHYBA Nepodařilo se vyčistit log pro __consumer_offsets

Související příspěvky

Prohlížené sekce