[解決済み] kafkaとnifiの違い

質問

私はApache NiFiの初心者ですが、今まで私が読んだすべてのチュートリアルは、Nifiとkafkaの統合について話しています。

注：私が見たすべてのチュートリアルは、この点については触れていません。

どのように解決するのですか？

NiFiとKafkaは、NiFiがApache Kafkaのようなメッセージングキューではない、という意味で補完関係にある。それどころか、Apache NiFiはデータフロー管理、別名データロジスティックスツールである。

こんなシナリオを想定してみよう。メッセージ（JSON形式）がKafkaを通してストリーミングされ、メッセージがすべてのフィールドを持っているかどうか検証し、それらが有効であれば、メッセージをHBaseに着地させたいとする。

ここで、NiFiは次のようなアプローチであなたをサポートします。

• NiFiは ConsumeKafka プロセッサーは、Kafkaブローカーとグループ名で設定できます。
• NiFiプロセッサを使用する ValidateRecord 受信したメッセージがすべて有効かどうかをチェックするために
• それらが有効である場合、出力を PutHBaseRecord

まとめると、NiFiは基本的に定型的なコードをたくさん書かなくて済むようにするものだ。この場合、スキーマの検証やHBaseへの書き込みを行うカスタムロジックである。