Windows Kafka FOUT Logboek niet opruimen voor __consumer_offsets

Klein tuig · Geplaatst op 06-07-2021 13:30:04

Recensie:

Kafka configureert JMX remote monitoring
https://www.itsvse.com/thread-9968-1-1.html

Gedetailleerde uitleg van Kafka-configuratieparameters
https://www.itsvse.com/thread-9965-1-1.html

Kafka stelt handmatig de offset in
https://www.itsvse.com/thread-9641-1-1.html

Kafka-operaties voor .NET/C# berichtwachtrijen [met broncode]
https://www.itsvse.com/thread-9619-1-1.html

De Windows Kafka-fout is als volgt:

[2021-07-06 09:05:54,809] FOUT Logboek voor __consumer_offsets-42 in dir C:\tmp\kafka-logs niet kunnen opschonen vanwege IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] FOUT [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Kon het offset-indexbestand dat overeenkomt met logbestand C:\tmp\kafka-logs\__consumer_offsets-42\ niet vinden 00000000000000000000.log, segmenten herstellen en indexbestanden herstellen... (kafka.log.Logboek)

[2021-07-06 09:06:10,607] ERROR Fout bij het maken van ephemeral bij /brokers/ids/0, de node bestaat al en de eigenaar '72057597827809280' komt niet overeen met de huidige sessie '72057597827809313' (kafka.zk.KafkaZkClient$) CheckedEphemeral)
[2021-07-06 09:06:10,616] FOUT [KafkaServer id=0] Dodelijke fout tijdens het opstarten van KafkaServer. Bereid je voor om af te sluiten (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
op org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
op kafka.server.KafkaServer.startup(KafkaServer.scala:308)
Bij Kafka. Kafka$.main(Kafka.scala:109)
Bij Kafka. Kafka.main(Kafka.scala)

Tijdelijke oplossing

Stop Zookeeper en Kafka, verwijder alle bestanden onder de C:\tmp\kafka-logs\__consumer_offsets-42\ map.

Klein tuig · Geplaatst op 06-07-2021 13:34:36

Het kafka-proces hangt af en toe.

1、FOUT Logboek voor __consumer_offsets-30 in dir /tmp/kafka-logs is niet geslaagd om op te ruimen vanwege IOException (kafka.server.LogDirFailureChannel)

2. Linux maakt regelmatig de bestanden in de /tmp-map schoon, en mijn kafka-logmap staat in de /tmp/kafka-logs-map, waardoor deze regelmatig wordt opgeschoond, dus kafka maakt een fout bij het lezen of toevoegen van logs.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Aanpassen
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Kafka opnieuw starten
5. Voeg de kafka-logmap toe aan de opruim-whitelist
Het wissen van de /tmp-map onder centos7 is verantwoordelijk voor het servicesystemd, en de bijbehorende configuratiebestanden bevinden zich in de /usr/lib/tmpfiles.d-map, we passen het configuratiebestand tmp.conf aan en voegen de kafka-logmap eraan toe.
#防止删除kafka日志文件
X /tmp/kafka-logs

Het schoonmaken van de /tmp-map in centos6 gebeurt via tmpwatch, dat afhankelijk is van de timing van cron, en het planningsbestand is /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Klein tuig · Geplaatst op 12-07-2021 10:57:17

Het Kafka Windows-systeem hangt vast na een tijdlang draaien
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka FOUT Logboek niet opruimen voor __consumer_offsets

Gerelateerde berichten

Secties bekeken