KESALAHAN Windows Kafka Gagal membersihkan log untuk __consumer_offsets

Sampah kecil · Diposting pada 06/07/2021 13.30.04

Resensi:

Kafka mengonfigurasi pemantauan jarak jauh JMX
https://www.itsvse.com/thread-9968-1-1.html

Penjelasan rinci tentang parameter konfigurasi Kafka
https://www.itsvse.com/thread-9965-1-1.html

Kafka secara manual mengatur offset offset
https://www.itsvse.com/thread-9641-1-1.html

Operasi Kafka untuk antrean pesan .NET/C# [dengan kode sumber]
https://www.itsvse.com/thread-9619-1-1.html

Kesalahan Windows Kafka adalah sebagai berikut:

[2021-07-06 09:05:54,809] ERROR Gagal membersihkan log untuk __consumer_offsets-42 di dir C:\tmp\kafka-logs karena IOException (kafka.server.LogDirFailureChannel)
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:

[2021-07-06 09:06:06,460] ERROR [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] Tidak dapat menemukan file indeks offset yang sesuai dengan file log C:\tmp\kafka-logs\__consumer_offsets-42\ 00000000000000000000.log, memulihkan segmen, dan membangun kembali file indeks... (kafka.log.Log)

[2021-07-06 09:06:10,607] ERROR Kesalahan saat membuat sementara di /brokers/ids/0, node sudah ada dan pemilik '72057597827809280' tidak cocok dengan sesi saat ini '72057597827809313' (kafka.zk.KafkaZkClient$ DicentangEmeral)
[2021-07-06 09:06:10,616] ERROR [KafkaServer id=0] Kesalahan fatal selama startup KafkaServer. Mempersiapkan untuk mematikan (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
di org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
di kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
di kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
di kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
di kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
di kafka.server.KafkaServer.startup(KafkaServer.scala:308)
Di Kafka. Kafka$.main(Kafka.scala:109)
Di Kafka. Kafka.main(Kafka.scala)

Solusi sementara

Hentikan zookeeper dan Kafka, hapus semua file di bawah folder C:\tmp\kafka-logs\__consumer_offsets-42\.

Sampah kecil · Diposting pada 06/07/2021 13.34.36

Proses kafka menutup telepon dari waktu ke waktu.

1、ERROR Gagal membersihkan log untuk __consumer_offsets-30 di dir /tmp/kafka-logs karena IOException (kafka.server.LogDirFailureChannel)

2. Linux akan membersihkan file di direktori /tmp secara teratur, dan direktori file log kafka saya ditempatkan di direktori /tmp/kafka-logs, sehingga dibersihkan secara teratur, sehingga kafka akan membuat kesalahan saat mencoba membaca atau menambahkan log.
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. Modifikasi
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. Mulai ulang kafka
5. Tambahkan direktori log kafka ke daftar putih pembersihan
Penghapusan direktori /tmp di bawah centos7 bertanggung jawab atas layanan systemd, dan file konfigurasi terkaitnya berada di direktori /usr/lib/tmpfiles.d, kami memodifikasi file konfigurasi tmp.conf dan menambahkan direktori log kafka ke dalamnya.
#防止删除kafka日志文件
X /tmp/kafka-log

Pembersihan direktori /tmp di centos6 dicapai melalui tmpwatch, yang bergantung pada waktu cron, dan file penjadwalan adalah /etc/cron.daily/tmpwatch
#防止删除kafka日志文件
X /tmp/kafka-log

Sampah kecil · Diposting pada 12/07/2021 10.57.17

Sistem Kafka Windows akan menutup telepon setelah berjalan untuk jangka waktu tertentu
https://www.itsvse.com/thread-9984-1-1.html

KESALAHAN Windows Kafka Gagal membersihkan log untuk __consumer_offsets

Pos terkait

Bagian yang dilihat