この記事は機械翻訳のミラー記事です。元の記事にジャンプするにはこちらをクリックしてください。

眺める: 15810|答える: 2

Windows Kafkaエラー ログのクリーンアップに失敗__consumer_offsets

[リンクをコピー]
掲載地 2021/07/06 13:30:04 | | |
復習:

KafkaがJMXリモートモニタリングを設定する
https://www.itsvse.com/thread-9968-1-1.html

カフカ構成パラメータの詳細な説明
https://www.itsvse.com/thread-9965-1-1.html

カフカは手動でオフセットオフセットを設定します
https://www.itsvse.com/thread-9641-1-1.html

.NET/C#メッセージキュー用のKafka操作[ソースコード付き]
https://www.itsvse.com/thread-9619-1-1.html


Windows Kafkaエラーは以下の通りです:

[2021-07-06 09:05:54,809] エラー IOException (kafka.server.LogDirFailureChannel) により、__consumer_offsets-42のログをC:\tmp\kafka-logsでクリーンアップできませんでした
java.nio.file.FileSystemException: C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.cleaned -> C:\tmp\kafka-logs\__consumer_offsets-42\00000000000000000000.timeindex.swap:


[2021-07-06 09:06:06,460] エラー [Log partition=__consumer_offsets-42, dir=C:\tmp\kafka-logs] ログファイルC:\tmp\kafka-logs\__consumer_offsets-42に対応するオフセットインデックスファイルが見つかりませんでした 00000000000000000000.log、セグメントの復元とインデックスファイルの再構築... (kafka.log.ログ)

[2021-07-06 09:06:10,607] エラー /brokers/ids/0 でエフェメラルを作成している間に、ノードがすでに存在し、所有者の「72057597827809280'が現在のセッション「72057597827809313'と一致しません(kafka.zk.KafkaZkClient$チェック(一時的)
[2021-07-06 09:06:10,616] ERROR [KafkaServer id=0] KafkaServer 起動時の致命的なエラー。 シャットダウンの準備 (kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$NodeExistsException: KeeperErrorCode = NodeExists
        org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
        at kafka.zk.KafkaZkClient$CheckedEphemeral.getAfterNodeExists(KafkaZkClient.scala:1904)
        at kafka.zk.KafkaZkClient$CheckedEphemeral.create(KafkaZkClient.scala:1842)
        at kafka.zk.KafkaZkClient.checkedEphemeralCreate(KafkaZkClient.scala:1809)
        at kafka.zk.KafkaZkClient.registerBroker(KafkaZkClient.scala:96)
        at kafka.server.KafkaServer.startup(KafkaServer.scala:308)
        カフカで。 Kafka$.main(Kafka.scala:109)
        カフカで。 Kafka.main(Kafka.scala)


一時的な解決策

zookeeperとKafkaを停止し、C:\tmp\kafka-logs\__consumer_offsets-42\フォルダ内のすべてのファイルを削除してください。





先の:Windowsの項目で、Java.exeが属するプログラムをご覧ください
次に:Linux Redisソースコードのインストールと展開
 地主| 掲載地 2021/07/06 13:34:36 |
カフカのプロセスは時折止まります。

1、エラー IOException (kafka.server.LogDirFailureChannel) により、dir /tmp/kafka-logs の__consumer_offsets-30のログをクリーンアップできませんでした。

2. Linuxは定期的に/tmpディレクトリのファイルをクリーンアップし、私のkafkaログファイルディレクトリは/tmp/kafka-logsディレクトリに配置されているため、定期的にクリーンアップされるため、Kafkaはログの読み取りや追加時にエラーを起こします。
grep log.dirs /opt/kafka_2.12-2.3.0/config/server.properties
/tmp/kafka-logs
3. 修正
log.dirs=/opt/kafka_2.12-2.3.0/kafka-logs/
4. カフカの再起動
5. カフカログディレクトリをクリーンアップホワイトリストに追加する
centos7による/tmpディレクトリのクリアはServicesystemdの責任であり、関連する設定ファイルは/usr/lib/tmpfiles.dディレクトリにあります。私たちはtmp.confという設定ファイルを修正し、kafkaログディレクトリを追加します。
#防止删除kafka日志文件
X /tmp/kafka-logs

centos6の/tmpディレクトリのクレンジングはtmpwatchを通じて行われ、cronのタイミングに依存し、スケジューリングファイルは/etc/cron.daily/tmpwatchです
#防止删除kafka日志文件
X /tmp/kafka-logs
 地主| 掲載地 2021/07/12 10:57:17 |
KafkaのWindowsシステムは一定時間動作すると停止します
https://www.itsvse.com/thread-9984-1-1.html
免責事項:
Code Farmer Networkが発行するすべてのソフトウェア、プログラミング資料、記事は学習および研究目的のみを目的としています。 上記の内容は商業的または違法な目的で使用されてはならず、そうでなければ利用者はすべての結果を負うことになります。 このサイトの情報はインターネットからのものであり、著作権紛争はこのサイトとは関係ありません。 ダウンロード後24時間以内に上記の内容を完全にパソコンから削除してください。 もしこのプログラムを気に入ったら、正規のソフトウェアを支持し、登録を購入し、より良い本物のサービスを受けてください。 もし侵害があれば、メールでご連絡ください。

Mail To:help@itsvse.com