Yönetilen Apache Flink ve Kafka

Amazon Managed Service for Apache Flink

• Önceki adı: Kinesis Data Analytics for Apache Flink

• Flink (Java, Scala veya SQL), veri akışlarını (data streams) işlemek için kullanılan bir framework’tür.

Diyagramı

Özellikler:

• AWS üzerinde yönetilen bir kümede herhangi bir Apache Flink uygulamasını çalıştırabilirsiniz.

• Sağlanan işlem kaynakları, paralel hesaplama ve otomatik ölçeklendirme.

• Uygulama yedeklemeleri (checkpoint ve snapshot olarak uygulanır).

• Apache Flink’in tüm programlama özelliklerini kullanarak veriyi dönüştürme imkanı.

Not: Flink, Amazon Data Firehose’tan veri okumaz.

Veri Kaynakları:

• Kinesis Data Streams

• Amazon MSK (Apache Kafka)

Amazon MSK (Managed Service for Kafka)

Standart Kafka'nın AWS tarafında yönetilen versiyonudur. AWS'e özgü Kinesis Data Streams'e çok benzer.