Windows Kafka FEHLER Konnte das Protokoll für __consumer_offsets nicht bereinigen

Kleiner Abschaum · Veröffentlicht am 06.07.2021 13:30:04

Rezension:

Kafka konfiguriert die JMX-Fernüberwachung
https://www.itsvse.com/thread-9968-1-1.html

Detaillierte Erklärung der Kafka-Konfigurationsparameter
https://www.itsvse.com/thread-9965-1-1.html

Kafka stellt den Offset manuell ein
https://www.itsvse.com/thread-9641-1-1.html

Kafka-Operationen für .NET/C#-Nachrichtenwarteschlangen [mit Quellcode]
https://www.itsvse.com/thread-9619-1-1.html

Der Windows-Kafka-Fehler lautet wie folgt:

[2021-07-06 09:05:54,809] FEHLER: Logbuch für __consumer_offsets-42 im Verzeichnis C:\tmp\kafka-logs konnte aufgrund von IOException (kafka.server.LogDirFailureChannel) nicht bereinigen
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] FEHLER [Logpartition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Konnte keine Offset-Indexdatei finden, die der Logdatei entspricht C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, Segmente wiederherstellen und Indexdateien neu aufbauen... (kafka.log.Log)

[2021-07-06 09:06:10,607] ERROR Fehler beim Erstellen von Ephemeral bei /brokers/ids/0 existiert bereits der Knoten und der Besitzer '72057597827809280' stimmt nicht mit der aktuellen Sitzung '72057597827809313' überein (kafka.zk.KafkaZkClient$) CheckedEphemeral)
[2021-07-06 09:06:10,616] FEHLER [KafkaServer-id=0] Fataler Fehler beim KafkaServer-Start. Bereite dich auf das Herunterfahren vor (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
unter org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
Bei Kafka. Kafka$.main(Kafka.scala:109)
Bei Kafka. Kafka.main (Kafka.scala)

Übergangslösung

Stoppe Zookeeper und Kafka, lösche alle Dateien im Ordner C:\tmp\kafka-logs\__consumer_offsets-42\.

Kleiner Abschaum · Veröffentlicht am 06.07.2021 13:34:36

Der Kafka-Prozess hängt von Zeit zu Zeit ab.

1、FEHLER: Logbuch für __consumer_offsets-30 im Verzeichnis /tmp/kafka-logs wurde wegen IOException (kafka.server.LogDirFailureChannel) nicht bereinigen

2. Linux bereinigt regelmäßig die Dateien im /tmp-Verzeichnis, und mein Kafka-Logdatei-Verzeichnis wird im /tmp/kafka-logs-Verzeichnis platziert, was dazu führt, dass es regelmäßig bereinigt wird, sodass Kafka beim Lesen oder Hinzufügen von Logs einen Fehler macht.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Modifizieren
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Kafka neu starten
5. Fügen Sie das Kafka-Logverzeichnis zur Reinigungs-Whitelist hinzu
Das Löschen des /tmp-Verzeichnisses unter centos7 ist verantwortlich für das Servicesystemd, und die zugehörigen Konfigurationsdateien befinden sich im Verzeichnis /usr/lib/tmpfiles.d, wir ändern die Konfigurationsdatei tmp.conf und fügen das Kafka-Log-Verzeichnis hinzu.
#防止删除kafka日志文件
X /tmp/kafka-logs

Die Reinigung des /tmp-Verzeichnisses in centos6 erfolgt über tmpwatch, das auf dem Timing von cron basiert, und die Planungsdatei lautet /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Kleiner Abschaum · Veröffentlicht am 12.07.2021 10:57:17

Das Kafka-Windows-System hängt nach einer gewissen Laufzeit ab
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka FEHLER Konnte das Protokoll für __consumer_offsets nicht bereinigen

Verwandte Beiträge

Betrachtete Abschnitte