Athena

• S3 içerirsinde tutulan verileriniz için query'ler ile analitik sorgular oluşturmanızı sağlar.

• TB başına 5 dolar verilir

• CSV JSON ORC AVRO PARGUET formatlarını destekler

• Quicksight ile entegredir.

Basit bir servis olan Quicksight Grafananın (Veri Görselleştirme Yazılımı) AWS Halefidir. Ek olarak sayfaya ihtiyaç yoktur.

Performans İyileştirme

• Sütun bazlı veri (columnar data) kullanın – maliyet tasarrufu (daha az tarama):

  • Apache Parquet veya ORC önerilir.

  • Büyük performans artışı sağlar.

  • Glue kullanarak verinizi Parquet veya ORC formatına dönüştürebilirsiniz.

• Veriyi sıkıştırın – daha küçük veri alma işlemleri için (bzip2, gzip, lz4, snappy, zlip, zstd vb.).

• S3 üzerinde veri setlerini bölümlendirin (partition) – sanal kolonlarda kolay sorgulama:

  s3://yourBucket/pathToTable
      /<PARTITION_COLUMN_NAME>=<VALUE>
      /<PARTITION_COLUMN_NAME>=<VALUE>
      /<PARTITION_COLUMN_NAME>=<VALUE>
      /etc...

  Örnek:

  s3://athena-examples/flight/parquet/year=1991/month=1/day=1/

Federated Querys

• İlişkisel, ilişkisel olmayan, nesne tabanlı ve özel veri kaynaklarında (AWS veya on-premises) saklanan veriler üzerinde SQL sorguları çalıştırmanıza olanak tanır.

• AWS Lambda üzerinde çalışan Data Source Connector’lar kullanarak Federated Query çalıştırır.

  • Örnek: CloudWatch Logs, DynamoDB, RDS vb.

• Sorgu sonuçlarını tekrar Amazon S3 içinde depolar.

Desteklenen veri kaynakları örnekleri:

• S3 Bucket

• ElastiCache

• DocumentDB

• DynamoDB

• Amazon Aurora

• SQL Server

• MySQL

• HBase in EMR

• On-Premises Veritabanları

Diğer Kaynaklar ile Athena