TOPSoftware > イベントストリーミングプラットフォームの代表格、Apache...

Software

イベントストリーミングプラットフォームの代表格、Apache Kafka(前)

2022/03/22

Martin Heller InfoWorld

 データウエアハウスにすべてのデータを保存し、夜間のバッチ処理で分析して、ビジネスやプロセスの状況を把握するという手法は、今の時代に求められる瞬時の対応が難しい。保存したデータに対する事後分析だけでなく、データストリームに対するリアルタイムの分析を、シンプルに実行できる機能が要求される。

Credit: SPainter VFX / Getty Images
Credit: SPainter VFX / Getty Images

 こうしたデータストリームの処理を支えるプラットフォームの代表格が「Apache Kafka」だ。もともと米LinkedInが開発し、現在は米Apache Software Foundationの管轄下にある。

 Kafkaと関連性があるプロジェクトやサービスには、Apache Flink、Apache Samza、Apache Spark、Apache Storm、Databricks、Ververicaなどがある。Kafkaに代わる選択肢としては、Apache Pulsarプロジェクト、米Amazon Web Services(AWS)のAmazon Kinesis、米MicrosoftのAzure Stream Analytics、米Confluentのサービス、米GoogleのGoogle Cloud Dataflowなどがある。

 Kafkaの難点としては、大規模クラスタへの対応で課題が生じる場合がある。こうした課題を解消できるKafkaベースの商用クラウドサービスには、Confluent Cloudや、Amazon Managed Streaming for Apache Kafkaなどがある。

↑ページ先頭へ