ERRORE Kafka di Windows: Errore non riuscito a pulire il log per __consumer_offsets

Piccola feccia · Pubblicato su 06/07/2021 13:30:04

Recensione:

Kafka configura il monitoraggio remoto, JMX
https://www.itsvse.com/thread-9968-1-1.html

Spiegazione dettagliata dei parametri di configurazione di Kafka
https://www.itsvse.com/thread-9965-1-1.html

Kafka imposta manualmente l'offset
https://www.itsvse.com/thread-9641-1-1.html

Operazioni Kafka per code di messaggi .NET/C# [con codice sorgente]
https://www.itsvse.com/thread-9619-1-1.html

L'errore Kafka di Windows è il seguente:

[2021-07-06 09:05:54,809] ERRORE Non è riuscito a pulire il log per __consumer_offsets-42 in dir C:\tmp\kafka-logs a causa di IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] ERRORE [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Non sono riuscito a trovare il file indice offset corrispondente al file log C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, recupero segmenti e ricostruzione di file indice... (kafka.log.Registro)

[2021-07-06 09:06:10,607] ERRORE Errore durante la creazione di un nodo effimero in /brokers/ids/0, e il proprietario '72057597827809280' non corrisponde alla sessione attuale '72057597827809313' (kafka.zk.KafkaZkClient$ CheckedEphemeral)
[2021-07-06 09:06:10,616] ERRORE [KafkaServer id=0] Errore fatale durante l'avvio di KafkaServer. Prepararsi allo spegnimento (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
su org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
A Kafka. Kafka$.main(Kafka.scala:109)
A Kafka. Kafka.main(Kafka.scala)

Soluzione temporanea

Fermate zookeeper e Kafka, cancellate tutti i file nella cartella C:\tmp\kafka-logs\__consumer_offsets-42\.

Piccola feccia · Pubblicato su 06/07/2021 13:34:36

Il processo kafka si blocca di tanto in tanto.

1、ERRORE Non è riuscito a pulire il log per __consumer_offsets-30 in dir/tmp/kafka-logs a causa di IOException (kafka.server.LogDirFailureChannel)

2. Linux pulirà regolarmente i file nella directory /tmp, e la mia directory di log kafka viene inserita nella directory /tmp/kafka-logs, il che comporta una pulizia regolare, quindi kafka commetterà un errore quando cercherà di leggere o aggiungere log.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Modifica
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Riavvio kafka
5. Aggiungi la directory di log di Kafka alla whitelist delle pulizie
La cancellazione della directory /tmp sotto centos7 è responsabile del service systemd, e i file di configurazione correlati si trovano nella directory /usr/lib/tmpfiles.d; modifichiamo il file di configurazione tmp.conf e aggiungiamo la directory di log kafka.
#防止删除kafka日志文件
X /tmp/kafka-logs

La pulizia della directory /tmp in centos6 avviene tramite tmpwatch, che si basa sul timing di cron, e il file di programmazione è /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Piccola feccia · Pubblicato su 12/07/2021 10:57:17

Il sistema Kafka Windows si blocca dopo essere stato avviato per un certo periodo
https://www.itsvse.com/thread-9984-1-1.html

ERRORE Kafka di Windows: Errore non riuscito a pulire il log per __consumer_offsets

Post correlati

Sezioni visualizzate