TOP ＞ Software ＞ イベントストリーミングプラットフォームの代表格、Apache...
関連カテゴリー： Network
イベントストリーミングプラットフォームの代表格、Apache Kafka（前）
2022/03/22
データウエアハウスにすべてのデータを保存し、夜間のバッチ処理で分析して、ビジネスやプロセスの状況を把握するという手法は、今の時代に求められる瞬時の対応が難しい。保存したデータに対する事後分析だけでなく、データストリームに対するリアルタイムの分析を、シンプルに実行できる機能が要求される。
Credit: SPainter VFX / Getty Images
こうしたデータストリームの処理を支えるプラットフォームの代表格が「Apache Kafka」だ。もともと米LinkedInが開発し、現在は米Apache Software Foundationの管轄下にある。
Kafkaと関連性があるプロジェクトやサービスには、Apache Flink、Apache Samza、Apache Spark、Apache Storm、Databricks、Ververicaなどがある。Kafkaに代わる選択肢としては、Apache Pulsarプロジェクト、米Amazon Web Services（AWS）のAmazon Kinesis、米MicrosoftのAzure Stream Analytics、米Confluentのサービス、米GoogleのGoogle Cloud Dataflowなどがある。
Kafkaの難点としては、大規模クラスタへの対応で課題が生じる場合がある。こうした課題を解消できるKafkaベースの商用クラウドサービスには、Confluent Cloudや、Amazon Managed Streaming for Apache Kafkaなどがある。
