Windows Kafka KLAIDA Nepavyko išvalyti __consumer_offsets žurnalo

Mažai purvo · Paskelbta 2021-07-06 13:30:04

Peržiūra:

Kafka sukonfigūruoja JMX nuotolinį stebėjimą
https://www.itsvse.com/thread-9968-1-1.html

Išsamus Kafkos konfigūracijos parametrų paaiškinimas
https://www.itsvse.com/thread-9965-1-1.html

Kafka rankiniu būdu nustato poslinkį
https://www.itsvse.com/thread-9641-1-1.html

Kafka operacijos .NET/C# pranešimų eilėse [su šaltinio kodu]
https://www.itsvse.com/thread-9619-1-1.html

"Windows Kafka" klaida yra tokia:

[2021-07-06 09:05:54,809] KLAIDA Nepavyko išvalyti __consumer_offsets-42 žurnalo kataloge C:\tmp\kafka-logs dėl IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] KLAIDA [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Nepavyko rasti poslinkio indekso failo, atitinkančio žurnalo failą C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, atkuriant segmentą ir atkuriant indekso failus... (kafka.log.Log)

[2021-07-06 09:06:10,607] KLAIDA Klaida kuriant trumpalaikį /brokers/ids/0, mazgas jau egzistuoja, o savininkas '72057597827809280' neatitinka dabartinės sesijos '72057597827809313' (kafka.zk.KafkaZkClient$ CheckedEfemeral)
[2021-07-06 09:06:10,616] KLAIDA [KafkaServer id=0] Lemtinga klaida paleidžiant KafkaServer. Pasiruošimas išjungti (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
adresu org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
Kafkoje. Kafka$.main(Kafka.scala:109)
Kafkoje. Kafka.main(Kafka.scala)

Laikinas sprendimas

Sustabdykite zookeeper ir Kafka, ištrinkite visus failus aplanke C:\tmp\kafka-logs\__consumer_offsets-42\.

Mažai purvo · Paskelbta 2021-07-06 13:34:36

Kafkos procesas kartkartėmis užstringa.

1 、 KLAIDA Nepavyko išvalyti __consumer_offsets-30 žurnalo dir /tmp/kafka-logs dėl IOException (kafka.server.LogDirFailureChannel)

2. Linux reguliariai išvalys failus /tmp kataloge, o mano kafka žurnalo failų katalogas bus patalpintas į /tmp/kafka-logs katalogą, todėl jis bus reguliariai valomas, todėl kafka padarys klaidą bandydamas skaityti ar pridėti žurnalus.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Modifikuoti
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Iš naujo paleiskite kafką
5. Pridėkite kafkos žurnalo katalogą į valymo baltąjį sąrašą
/tmp katalogo išvalymas centos7 yra atsakingas už paslaugą systemd, o su juo susiję konfigūracijos failai yra /usr/lib/tmpfiles.d kataloge, mes modifikuojame konfigūracijos failą tmp.conf ir pridedame prie jo kafka žurnalo katalogą.
#防止删除kafka日志文件
X /tmp/kafka-rąstai

/tmp katalogo valymas centos6 pasiekiamas naudojant tmpwatch, kuris priklauso nuo cron laiko, o planavimo failas yra /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-rąstai

Mažai purvo · Paskelbta 2021-07-12 10:57:17

"Kafka Windows" sistema tam tikrą laiką užstrigs
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafka KLAIDA Nepavyko išvalyti __consumer_offsets žurnalo

Susijusios žinutės

Peržiūrėtos sekcijos