Windows Kafka HIBA Nem sikerült tisztítani a naplót __consumer_offsets

Kis szemét · Közzétéve 2021. 07. 06. 13:30:04

Szemle:

Kafka konfigurálja a JMX távoli monitorozását
https://www.itsvse.com/thread-9968-1-1.html

Részletes magyarázat a Kafka konfigurációs paraméterekről
https://www.itsvse.com/thread-9965-1-1.html

Kafka manuálisan állítja be az elolást
https://www.itsvse.com/thread-9641-1-1.html

Kafka műveletek .NET/C# üzenetsorokhoz [forráskóddal]
https://www.itsvse.com/thread-9619-1-1.html

A Windows Kafka hiba a következő:

[2021-07-06 09:05:54,809] HIBA Nem sikerült tisztítani a naplót a __consumer_offsets-42-nél a C:\tmp\kafka-logs rendszerében IOException (kafka.server.LogDirFailureChannel) miatt
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] HIBA [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Nem találtam az offset indexfájlt, amely a log fájlhoz C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, a szakasz helyreállítása és az indexfájlok újraépítése... (kafka.log.Napló)

[2021-07-06 09:06:10,607] HIBAHIBA A /brokers/ids/0 címen létrehozva a csomópont már létezik, és a tulajdonos '72057597827809280' nem egyezik a jelenlegi '72057597827809313' üléssel (kafka.zk.KafkaZkClient$ CheckedEphemeral)
[2021-07-06 09:06:10,616] HIBA [KafkaServer id=0] Végzetes hiba KafkaServer indításkor. Készülj a leállításra (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
az org.apache.zookeeper.KeeperException.create-en(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
Kafkán. Kafka$.main(Kafka.scala:109)
Kafkán. Kafka.main (Kafka.scala)

Ideiglenes megoldás

Állítsd meg a zookeepert és Kafkát, töröld az összes fájlt a C:\tmp\kafka-logs\__consumer_offsets-42\ mappából.

Kis szemét · Közzétéve 2021. 07. 06. 13:34:36

A kafka folyamat időnként leáll.

1、ERROR Nem sikerült tisztítani a naplót __consumer_offsets-30 között dir /tmp/kafka-logs rendszerben az IOException (kafka.server.LogDirFailureChannel) miatt

2. A Linux rendszeresen tisztítja a /tmp könyvtárban lévő fájlokat, és a kafka naplófájl könyvtáram a /tmp/kafka-logs könyvtárba kerül, így rendszeresen tisztlik, így a kafka hibát okoz, amikor naplókat próbál olvasni vagy hozzáadni.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Módosítás
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Indítsa újra a kafkát
5. Hozzáadni a Kafka naplókönyvtárat a tisztító fehérlistához
A centos7 alatt a /tmp könyvtár törlése felelős a systemd szolgáltatásért, és a kapcsolódó konfigurációs fájlok a /usr/lib/tmpfiles.d könyvtárban találhatók, módosítjuk a tmp.conf konfigurációs fájlt, és hozzáadjuk hozzá a kafka log könyvtárat.
#防止删除kafka日志文件
X /tmp/kafka-logs

A centos6 /tmp könyvtárának tisztítását tmpwatch segítségével végzik, amely a cron időzítésére épül, és az ütemezési fájl /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Kis szemét · Közzétéve 2021. 07. 12. 10:57:17

A Kafka Windows rendszer egy ideig leáll a lejárat után
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka HIBA Nem sikerült tisztítani a naplót __consumer_offsets

Kapcsolódó bejegyzések

Megtekintett szakaszok