[解決済み】Kafkaトピックのパージ

質問

カフカでトピックをパージする方法はありますか？

大きすぎるメッセージをローカルマシンのkafkaメッセージトピックにプッシュしたら、エラーが発生しました。

kafka.common.InvalidMessageSizeException: invalid message size

を増やします。 fetch.size はここでは理想的ではありません。なぜなら、実際にはそれほど大きなメッセージは受け取りたくないからです。

どのように解決するのですか？

トピックの保持時間を一時的に1秒に更新する。

kafka-topics.sh \
  --zookeeper <zkhost>:2181 \
  --alter \
  --topic <topic name> \
  --config retention.ms=1000

また、新しい Kafka のリリースでは、これを kafka-configs --entity-type topics

kafka-configs.sh \
  --zookeeper <zkhost>:2181 \
  --entity-type topics \
  --alter \
  --entity-name <topic name> \
  --add-config retention.ms=1000

をクリックし、パージが有効になるのを待ちます（期間はトピックのサイズに依存します）。パージしたら、以前の状態に戻す retention.ms の値を設定します。