apache-kafka - BinaryDevelop

ランタイム中にkafkaの保持期間を変更する

質問 Kafka 0.8.1.1 で、実行中にログの保存期間を変更するにはどうすればよいですか。そのドキュメントには、このプロパティは log.retention.hours と書かれていますが kafka-topics.sh を使って変更しようとすると、このエラーが返されます。 $ bin/kafka-topics.sh --zookeeper zk.yoursite.

2023-08-23 10:40:06
[解決済み] 削除マークがついたトピックはいつ、どのように削除されるのですか？

質問トピックを削除するコマンドを発行しました。 ./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic vip_ips_alerts 嬉しい反応があったようです。 [2014-05-31 20:58:10,112] INFO zookeeper state changed (SyncConnected)

2023-06-23 14:46:39
[解決済み] カフカメッセージを表示する方法

質問あるトピックについて、kafkaに送信されたメッセージの内容を表示する方法はありますか？可能であれば、このトピックの直近の5つのメッセージを表示するようなことを言います。どのように解決するのですか？コンソールコンシューマを使って、あるトピックについて作成されたメッセージを表示することができます。 bin/kafka-console-consumer.sh --bootst

2023-05-26 21:18:27
[解決済み] Kafkaトピックのレプリカの数を変更するにはどうすればよいですか？

質問プロデューサーまたは管理者によってKafkaトピックが作成された後、このトピックのレプリカの数をどのように変更しますか？どのように解決するのですか？編集：私は間違っていることが証明されました - 確認してください。 Łukasz Dumiszewski 氏の素晴らしい回答です。とりあえず完全を期すために、私のオリジナルの回答を残しておきます。できない

2023-05-21 01:23:25
[解決済み] Kafkaコンシューマーリスト

質問 Kafkaにトピックのリストを問い合わせる方法を探しています。私は、私がそれを行うことができます知っている kafka-topics.sh スクリプトを使用することです。 bin\ ディレクトリにあります。このリストができたら、トピックごとにすべてのコンシューマが必要です。そのディレクトリにスクリプトは見つかりませんでしたし、クラスも kafka-consumer-api ラ

2023-04-11 20:58:32
[解決済み] クラスタ内の利用可能なすべてのKafkaブローカーを一覧表示するには？

質問私はkafkaブローカーを監視するためのシェルスクリプトを書いています。いくつかのリンクを調べてみたところ、ZooKeeperにブローカーのリストがあり、このリストの中にIPアドレスがあれば、カフカブローカーが起動していることがわかりました。シェルスクリプトでブローカーリストを取得し、カフカが実行されているかどうかをチェックするために使用できるコマンドが欲しいです。何

2023-02-23 21:41:56
[解決済み] トピックのデータをすべて削除したり、毎回実行する前にトピックを削除する方法はありますか？

質問トピックのデータをすべて削除したり、毎回実行前にトピックを削除する方法はありますか？ KafkaConfig.scalaファイルを修正して、その中の logRetentionHours プロパティを変更できますか？コンシューマーがメッセージを読んだらすぐに削除される方法はありますか？私はどこからかデータを取得し、コンシューマが消費する特定のトピックにデータを送信するため

2023-02-01 18:11:49
[解決済み] Kafka >= 0.10.1 における session.timeout.ms と max.poll.interval.ms の差分について

質問なぜ両方が必要なのか不明です。 session.timeout.ms と max.poll.interval.ms のどちらを使用するのでしょうか、またその両方を使用するのはどのような場合でしょうか。両方の設定は、コーディネーターがコンシューマーが死んだと判断する前にハートビートを取得するために待機する時間の上限を示すように思われます。に基づくバージョン 0.10.1.0+

2023-01-10 12:21:41
[解決済み] Kafka 0.8.1.1でのトピックの削除

質問トピックを削除する必要があります test を Apache Kafka 0.8.1.1 で削除する必要があります。で表現されているようにのドキュメントで表現されているように、ここでは , 実行しました。 bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test しかし、この場合、

2022-10-31 15:32:04
[解決済み] カフカコンシューマーAPIとストリームAPI

質問最近Kafkaの勉強を始めたのですが、こんな質問をしてしまいます。 ConsumerとStreamの違いは何ですか？私としては、Kafkaからメッセージを消費するツール/アプリケーションがあれば、Kafkaの世界ではコンシューマとなります。 StreamもKafkaからメッセージを消費したり、Kafkaにメッセージを生成したりするので、どう違うのでしょうか？また、Con

2022-05-12 08:49:22
[解決済み] Kafkaでデータモデリング？トピックとパーティション

質問新しいサービス（非RDBMSデータストアやメッセージキューなど）を使うときに最初に考えることの1つは、「どのようにデータを構造化すればよいのか」ということです。入門用の資料を読んだり、見たりしました。特に、例えば Kafka: ログ処理のための分散型メッセージングシステムと書いている。トピックは、メッセージが関連付けられるコンテナです。並列性の最小単位は、ト

2022-04-29 20:47:48
[解決済み】Kafkaのトピックとパーティションを理解する

質問私はKafkaを学び始めていますが、読書中にいくつかの疑問が浮かんできました。プロデューサーがメッセージを生成するとき、そのメッセージにはトピックに送りたいということですね？パーティションは気になりますか？サブスクライバの実行時に、グループ ID を指定して、同じトピックまたはこのグループのコンシューマが関心を持つ複数のトピックのコンシューマのクラスタの

2022-04-20 11:43:37
[解決済み】Kafkaトピックのパージ

質問カフカでトピックをパージする方法はありますか？大きすぎるメッセージをローカルマシンのkafkaメッセージトピックにプッシュしたら、エラーが発生しました。 kafka.common.InvalidMessageSizeException: invalid message size を増やします。 fetch.size はここでは理想的ではありません。なぜなら、実際には

2022-04-05 07:19:35
[解決済み] KafkaよりRabbitMQを使うべきタイミングは？[クローズド］

質問閉店 . この質問はオピニオンベース . 現在、回答は受け付けておりません。 <パスこの質問を改善したいですか？質問を更新して、事実と引用で答えられるようにする。この投稿を編集する . 閉店

2022-03-20 19:56:05
[解決済み] Zookeeperにアクセスせずに-zookeeperフラグを使用してKafka 0.10トピックをすべて一覧表示する

質問を使っています。 kafka 0.10 なく zookeeper . kafkaのトピック一覧を取得したい。zookeeperを使っていないので、このコマンドは使えません。 bin/kafka-topics.sh --list --zookeeper localhost:2181 . どうすればzookeeperなしで同じ出力を得ることができますか？解決方法は？

2022-03-05 09:26:30
[解決済み] Apache Kafkaのコンテキストで「Rebalancing」とはどういう意味ですか？

質問私はKafkaの新しいユーザーで、2-3週間ほど前から試用しています。私は現時点でKafkaがどのように動作するかをほとんど理解していると信じていますが、私自身のKafkaコンシューマー（これは不明瞭ですが、私はv 0.9で利用可能になると考えられている新しいKafkaConsumerのガイドラインに従っています、これは現在「トランク」レポにあります）用のAPIを適合しようと試みた後、

2022-03-04 19:51:55
[解決済み] JAAS または Kafka の設定に serviceName が定義されていない (Kerberos ではない)

質問安全なkafkaserverに対して認証するために、kafkaクライアントを設定しようとしています。jaasとsslの設定をしましたが、serviceNamesについて文句を言っています。 Kerberosは使っていません。コマンド KAFKA_OPTS="-Djava.security.auth.login.config=./jaas.conf" \ kafka-c

2022-02-27 12:11:32
[解決済み] グループがリバランスしているため、ハートビートが失敗しました。

質問リバランスのためにグループのハートビート障害が発生する正確な理由は何ですか？グループ内のすべてのコンシューマが稼働している状態でリバランスが発生する理由は何ですか？ありがとうございました。解決方法は？ハートビートは、すべてのコンシューマーがまだ稼働しているかどうかを確認するための基本的なメカニズムです。グループのリバランス中にハートビート失敗が発生した場合、コンシュー

2022-02-17 13:24:41
[解決済み] HDFスキーマレジストリとConfluentの主な違いは何ですか？

質問内容 HDFスイートとConfluentに搭載されているkafkaの違い、特にスキーマレジストリツールの違いについて知りたいのですが。どのように解決するのですか？ https://registry-project.readthedocs.io/en/latest/competition.html Hortonworks のスキーマレジストリはスキーマの保存に Mysql

2022-02-15 23:16:18
[解決済み] kafkaのレプリケートパーティション下の修正

質問本番環境では、トピックからメッセージを消費する際に、パーティションのレプリケーションが不足することがよくあります。Kafka 0.11を使用しています。ドキュメントから理解できることは次のとおりです。設定パラメータ replica.lag.max.messages が削除されました。パーティションリーダーは、どのレプリカを同期させるかを決定する際に、遅れているメッセージの数を

2022-02-12 17:35:20

最新

おすすめ