Spring Boot Kafkaが再起動して古いデータを破棄します

クズども · 2021年11月14日 21:42:26に投稿

要件:スプリングブートアプリケーションが起動されると、データベースやキャッシュから一部の設定情報が読み込まれ、Kafkaを使って設定情報の変更を購読します。アプリは最新の設定情報で始まるため、過去のKafka設定更新に関するメッセージは意味がなく、過去のメッセージを使うと問題が起きます。

Spring Bootアプリが再起動した後、トピックに関する古いデータを破棄する方法についての質問がありますそのテーマの歴史に関するカフカからのメッセージは受信されませんこれ。実際、この問題は開始オフセットを設定することで解決できます。これにより、購読者はメッセージを購読する前のトピックのオフセットを最後の位置に設定できます。

spring.kafka.consumer.auto-offset-reset が最新に設定されていても、消費者は最後にメッセージを受信したと確認されたフラグビットからメッセージを読み取るため、アプリを閉じたときにプロデューサーが大量のメッセージを送信すると、再起動後に大量のメッセージを読み取ることになります。

消費者は初期化時に特定のオフセットを探し、以下のコードで検索します。

ログインが見えます。

(終わり)

クズども · 2021年11月15日 10:37:05に投稿

Spring BootはKafkaのトピックまたはGroupIDを動的に設定します
https://www.itsvse.com/thread-10152-1-1.html

CentOS 7の下で、カフカはしばしばソリューションを停止します
https://www.itsvse.com/thread-10090-1-1.html

カフカのauto.offset.reset値について詳しく説明しています
https://www.itsvse.com/thread-10017-1-1.html

KafkaのWindowsシステムは一定時間動作すると停止します
https://www.itsvse.com/thread-9984-1-1.html

Windows Kafkaエラーログのクリーンアップに失敗__consumer_offsets
https://www.itsvse.com/thread-9980-1-1.html

KafkaがJMXリモートモニタリングを設定する
https://www.itsvse.com/thread-9968-1-1.html

カフカ構成パラメータの詳細な説明
https://www.itsvse.com/thread-9965-1-1.html

カフカは手動でオフセットオフセットを設定します
https://www.itsvse.com/thread-9641-1-1.html

.NET/C#メッセージキュー用のKafka操作[ソースコード付き]
https://www.itsvse.com/thread-9619-1-1.html

[出典] Spring Boot Kafkaが再起動して古いデータを破棄します

関連記事

閲覧したセクション