ERREUR Kafka Windows : Échec à nettoyer le journal pour __consumer_offsets

Petite ordure · Publié sur 06/07/2021 13:30:04

Révision:

Kafka configure la surveillance à distance JMX
https://www.itsvse.com/thread-9968-1-1.html

Explication détaillée des paramètres de configuration de Kafka
https://www.itsvse.com/thread-9965-1-1.html

Kafka règle manuellement le décalage
https://www.itsvse.com/thread-9641-1-1.html

Opérations Kafka pour les files d’attente de messages .NET/C# [avec code source]
https://www.itsvse.com/thread-9619-1-1.html

L’erreur Windows Kafka est la suivante :

[2021-07-06 09:05:54,809] ERREUR : Échec de nettoyer le journal pour __consumer_offsets-42 dans le dir : C :\tmp\kafka-logs à cause de IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] ERREUR [Log partition=__consumer_offsets-42, dir=C :\tmp\kafka-logs] Impossible de trouver le fichier index de décalage correspondant au fichier log C :\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, récupération de segments et reconstruction des fichiers index... (kafka.log.Journal)

[2021-07-06 09:06:10,607] ERREUR : Erreur : lors de la création d’éphémère à /brokers/ids/0, le nœud existe déjà et le propriétaire « 72057597827809280 » ne correspond pas à la session actuelle « 72057597827809313 » (kafka.zk.KafkaZkClient$ Vérifié Éphémère)
[2021-07-06 09:06:10,616] ERREUR [KafkaServer id=0] Erreur fatale lors du démarrage de KafkaServer. Préparez-vous à l’arrêt (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException : KeeperErrorCode = NodeExists
sur org.apache.zookeeper.KeeperException.create(KeeperException.java :126)
at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala :1904)
at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala :1842)
at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala :1809)
at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala :96)
at kafka.server.KafkaServer.startup(KafkaServer.scala :308)
À Kafka. Kafka$.main(Kafka.scala :109)
À Kafka. Kafka.main(Kafka.scala)

Solution temporaire

Arrêtez Zookeeper et Kafka, supprimez tous les fichiers dans le dossier C :\tmp\kafka-logs\__consumer_offsets-42\.

Petite ordure · Publié sur 06/07/2021 13:34:36

Le processus kafka se bloque de temps en temps.

1、ERREUR Échec du nettoyage du journal pour __consumer_offsets-30 dans dir/tmp/kafka-logs à cause de IOException (kafka.server.LogDirFailureChannel)

2. Linux nettoie régulièrement les fichiers dans le dossier /tmp, et mon répertoire de fichiers journals kafka est placé dans le dossier /tmp/kafka-logs, ce qui entraîne un nettoyage régulier, donc kafka fera une erreur en essayant de lire ou d’ajouter des logs.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Modifier
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Redémarrer kafka
5. Ajouter le répertoire de journaux kafka à la liste blanche de nettoyage
Le nettoyage du répertoire /tmp sous centos7 est responsable du service systemd, et ses fichiers de configuration associés se trouvent dans le répertoire /usr/lib/tmpfiles.d ; nous modifions le fichier de configuration tmp.conf et y ajoutons le répertoire journal kafka.
#防止删除kafka日志文件
X /tmp/kafka-logs

Le nettoyage du répertoire /tmp dans centos6 est réalisé via tmpwatch, qui dépend du timing de cron, et le fichier de planification est /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-logs

Petite ordure · Publié sur 12/07/2021 10:57:17

Le système Kafka Windows se bloque après un certain temps d’exécution
https://www.itsvse.com/thread-9984-1-1.html

ERREUR Kafka Windows : Échec à nettoyer le journal pour __consumer_offsets

Articles connexes

Sections vues