Windows Kafka CHYBA Nepodarilo sa vyčistiť logy pre __consumer_offsets

Malý · Zverejnené 6. 7. 2021 13:30:04

Revízia:

Kafka konfiguruje diaľkové monitorovanie JMX
https://www.itsvse.com/thread-9968-1-1.html

Podrobné vysvetlenie parametrov konfigurácie Kafka
https://www.itsvse.com/thread-9965-1-1.html

Kafka manuálne nastavuje offsetový offset
https://www.itsvse.com/thread-9641-1-1.html

Kafka operácie pre .NET/C# fronty správ [so zdrojovým kódom]
https://www.itsvse.com/thread-9619-1-1.html

Chyba Windows Kafka je nasledovná:

[2021-07-06 09:05:54,809] CHYBA Nepodarilo sa vyčistiť log pre __consumer_offsets-42 v smere C:\tmp\kafka-logs kvôli IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] CHYBA [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Nepodarilo sa nájsť offset indexový súbor zodpovedajúci log súboru C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, obnova segmentu a obnova indexových súborov... (kafka.log.Log)

[2021-07-06 09:06:10,607] CHYBA Chyba Pri vytváraní efemérneho uzla na /brokers/ids/0, uzol už existuje a vlastník '72057597827809280' nezodpovedá aktuálnej relácii '72057597827809313' (kafka.zk.KafkaZkClient$ CheckedEphemeral)
[2021-07-06 09:06:10,616] CHYBA [KafkaServer id=0] Fatálna chyba pri štarte KafkaServera. Pripravte sa na vypnutie (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
na org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
Na Kafku. Kafka$.main(Kafka.scala:109)
Na Kafku. Kafka.main (Kafka.scala)

Dočasné riešenie

Zastavte zookeepera a Kafku, vymažte všetky súbory pod priečinkom C:\tmp\kafka-logs\__consumer_offsets-42\.

Malý · Zverejnené 6. 7. 2021 13:34:36

Proces Kafka sa občas zasekne.

1、ERROR Nepodarilo sa vyčistiť log pre __consumer_offsets-30 v dir /tmp/kafka-logs kvôli IOException (kafka.server.LogDirFailureChannel)

2. Linux pravidelne čistí súbory v adresári /tmp a môj logovací adresár Kafka je umiestnený v adresári /tmp/kafka-logs, čo spôsobuje, že sa pravidelne čistí, takže Kafka urobí chybu pri čítaní alebo pridávaní logov.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Upraviť
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Reštartovať Kafku
5. Pridaj adresár Kafka logov do whitelistu na čistenie
Vyčistenie adresára /tmp pod centos7 je zodpovedné za službu systemd a jeho súvisiace konfiguračné súbory sú v adresári /usr/lib/tmpfiles.d, upravujeme konfiguračný súbor tmp.conf a pridávame do neho logovací adresár kafka.
#防止删除kafka日志文件
X /tmp/kafka-logs

Čistenie adresára /tmp v centos6 sa vykonáva cez tmpwatch, ktorý závisí od časovania cron, a plánovací súbor je /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Malý · Zverejnené 12. 7. 2021 10:57:17

Systém Kafka Windows sa po určitom čase zasekne
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka CHYBA Nepodarilo sa vyčistiť logy pre __consumer_offsets

Súvisiace príspevky

Zobrazené sekcie