AWS Glue fiyatlandırması

AWS Glue Veri Kataloğu; Amazon S3, Amazon Redshift ve üçüncü taraf veri kaynakları dâhil olmak üzere çeşitli veri kaynaklarındaki tüm veri varlıklarınız için merkezî teknik meta veri deposudur. Veri Kataloğu'na veri, analiz ve yapay zekâ için Amazon SageMaker Göl Evi'nden erişilebilir. Verileri katalog, veri tabanı ve tablo olarak düzenlemek ve bunları Amazon Redshift, Amazon Athena ve Amazon EMR'den sorgulamak için birleşik bir arabirim sağlar. Veri Kataloğu'ndaki AWS Lake Formation özellikleri, AWS'de veri yönetişimini merkezîleştirmenize olanak tanır. Ayrıntılı veri izinlerini ve bilindik veri tabanı tarzı özellikleri kullanarak veri varlıklarını yönetin.

Veri Kataloğu'nu kullanırken, tablo meta verilerini depolayıp bunlara erişmek ve tablo istatistiklerini ve tablo optimizasyonlarını hesaplayan veri işleme işlerini çalıştırmak için ücret ödersiniz.

Meta veri fiyatlandırması

Veri Kataloğu ile, bir milyona kadar meta veri nesnesini ücretsiz olarak depolayabilirsiniz. Bir milyondan fazla meta veri nesnesi depolarsanız bir milyonun üzerindeki her 100.000 nesne için aylık 1,00 USD ödersiniz. Veri Kataloğu'ndaki bir meta veri nesnesi; tablo, tablo sürümü, bölüm, bölüm dizinleri, istatistikler, veri tabanı veya katalogdur.

Tablo bakımı ve istatistikleri

Veri Kataloğu, Amazon S3 nesne depolamasındaki Apache Iceberg tabloları için yönetilen sıkıştırma sağlar ve Amazon Redshift, Athena, Amazon EMR ve AWS Glue ETL işleri gibi AWS analiz hizmetleriyle daha iyi okuma performansı için küçük nesneleri daha büyük nesnelere sıkıştırır. Tablo sıkıştırma için kullanılan Veri İşleme Birimi (DPU) sayısına göre saatlik ücret ödersiniz. Tek bir Veri İşleme Birimi (DPU), 4 vCPU ve 16 GB bellek sağlar. Her çalıştırma için minimum 1 dakikalık bir süre ayrılır. 1 saniyelik artımlarla ve en yakın saniye sayısına yuvarlanarak faturalandırılırsınız.

Veri Kataloğu ayrıca, AWS Glue tabloları için sütun düzeyinde tablo istatistiklerini de destekler. Bu istatistikler, Athena ve Amazon Redshift veri gölü sorgulamasında maliyet tabanlı optimizasyon aracı (CBO) ile entegredir ve iyileştirilmiş sorgu performansı ile potansiyel maliyet tasarrufları sağlar.

Optimizasyon

• Apache Iceberg tablolarını optimize etmek için DPU saati başına 0,44 USD, minimum 1 dakika süreyle saniye başına faturalandırılır.
  

İstatistikler:

• İstatistik oluşturmak için DPU saati başına 0,44 USD, minimum 1 dakika süreyle saniye başına faturalandırılır.

Ek kullanım ve maliyetler

Depolama

Veri Kataloğu'nu kullanarak Amazon S3 ve Amazon Redshift'te tablolar oluşturabilir ve yönetebilirsiniz, tablo depolama için sırasıyla standart Amazon S3 veya Amazon Redshift ücretleri üzerinden ücretlendirilirsiniz. Veri Kataloğu'nda ek depolama ücreti yoktur.

    1. Amazon S3'te veri depolarken depolama, istekler ve veri aktarımı için standart Amazon S3 fiyatlarına göre ücretlendirilirsiniz. Daha fazla bilgi edinmek için Amazon S3 fiyatlandırmasına göz atın.

    2. Amazon Redshift'te veri depolarken depolama için standart Amazon Redshift fiyatlarına göre ücretlendirilirsiniz. Ayrıntılar için Amazon Redshift fiyatlandırmasına göz atın.

İşlem

Amazon Redshift tablolarına Amazon EMR, AWS Glue, Athena ya da herhangi bir açık kaynak veya üçüncü taraf Apache Iceberg uyumlu altyapıdan eriştiğinizde işlem kaynakları için hizmet tarafından yönetilen bir Amazon Redshift Sunucusuz çalışma grubu kullanılır. Amazon Redshift Sunucusuz yönetilen çalışma grubu, tablo sonuçlarını filtrelemek için kullanılır ve kullandığınız işlem kaynakları için standart Amazon Redshift Sunucusuz fiyatlarına göre ücretlendirilirsiniz. Amazon Redshift kullanılarak Amazon Redshift'te depolanan tabloları sorgulamak için ayrı bir ücret alınmaz. Daha fazla bilgi edinmek için Amazon Redshift fiyatlandırmasına göz atın.

Lake Formation izinleri

Lake Formation, Veri Kataloğu ile entegre olur ve etiket tabanlı veya ad tabanlı erişim kontrollerini ve hesaplar arası paylaşımı kullanarak veri tabanı, tablo, sütun, satır ve hücre düzeyinde izinler sağlar. Lake Formation izinleri oluştururken veya Lake Formation izinlerini entegre AWS hizmetleriyle kullanırken ayrı bir ücret alınmaz.

Fiyatlandırma örnekleri

AWS Ücretsiz Kullanım'daki Veri Kataloğu: Belirli bir ayda Veri Kataloğu'nda bir milyon meta veri nesnesi depoladığınızı ve bu tablolara erişmek için 1 milyon meta veri isteğinde bulunduğunuzu varsayalım. 0 USD ödersiniz çünkü kullanımınız AWS Glue Veri Kataloğu Ücretsiz Kullanım kapsamına girer. Bir ayda ücretsiz olarak bir milyon meta veri nesnesini depolayabilir ve bir milyon meta veri isteğinde bulunabilirsiniz.

Veri Kataloğu standart katmanı: Şimdi meta veri depolama kullanımınızın ayda 1 milyon meta veri nesnesinde kaldığını ancak isteklerinizin ayda iki katına çıkarak 2 milyon meta veri isteğine ulaştığını düşünün. Ayrıca yeni tabloları bulmak için gezginleri kullandığınızı, bunların 30 dakika çalıştırıldığını ve 2 DPU kullandığını varsayalım.

Depolama maliyetiniz yine 0 USD olur çünkü ilk bir milyon meta veri nesneniz ücretsizdir. İlk bir milyon isteğiniz de ücretsizdir. Veri Kataloğu Ücretsiz Kullanımı'nın üzerindeki 1 milyon istek için faturalandırılırsınız ve bunun ücreti 1 USD'dir.

Veri Kataloğu'nu diğer hizmetlerle kullanma:

Örneğin, SageMaker Göl Evi'nde Athena SQL kullanarak Amazon Redshift'teki tabloları sorguladığınızda şunlar için ücretlendirilirsiniz: tabloları standart Amazon Redshift fiyatlandırmasına göre Amazon Redshift'te depolamak; standart Veri Kataloğu istek fiyatlandırmasına göre Veri Kataloğu'na yapılan meta veri isteği; Veri Kataloğu'nda katalog, veri tabanı ve tablo meta verilerini depolamaya yönelik meta veri depolaması; Amazon Redshift tablo sonuçlarını filtrelemek üzere saniye bazında Amazon Redshift Sunucusuz RPU saati (minimum 60 saniyelik ücret ile) ve standart Athena fiyatlandırması kullanılarak sorgu verisi başına minimum 10 MB olmak üzere en yakın megabayta yuvarlanacak şekilde Athena sorgusu tarafından taranan bayt sayısı.

Amazon EMR Sunucusuz'u kullanarak Amazon Redshift'teki tabloları sorguladığınız başka bir senaryoda şunlar için ücretlendirilirsiniz: standart Amazon Redshift fiyatlandırmasına göre tabloları Amazon Redshift'te depolamak; standart Veri Kataloğu istek fiyatlandırmasına göre Veri Kataloğu'na yapılan meta veri isteği; Veri Kataloğu'nda katalog, veri tabanı ve tablo meta verilerini depolamaya yönelik meta veri depolaması; Amazon Redshift tablo sonuçlarını filtrelemek üzere saniye bazında Amazon Redshift Sunucusuz RPU saati (minimum 60 saniyelik ücret ile) ve Amazon EMR uygulamasında çalışanlarınız tarafından kullanılan vCPU, bellek ve depolama kaynaklarının miktarı.

Amazon Redshift Sunucusuz'u kullanarak Amazon S3 nesne depolamasındaki Apache Iceberg tablolarını sorguladığınız diğer bir senaryoda şunlar için ücretlendirilirsiniz: standart Amazon S3 fiyatlandırmasına göre Apache Iceberg tablolarını Amazon S3'te depolamak; standart Veri Kataloğu istek fiyatlandırmasına göre Veri Kataloğu'na yapılan meta veri isteği; Veri Kataloğu'nda katalog, veri tabanı ve tablo meta verilerini depolamaya yönelik meta veri depolaması ve standart Amazon Redshift fiyatlandırmasına göre işlem saatleri (RPU saatleri).

AWS Glue Gezginleri, DPU saati başına 0,44 USD oranında faturalandırılır ve dolayısıyla 0,44 USD fiyattan 2 DPU * 0,5 saat ödersiniz. Bu da 0,44 USD'ye eşittir.

Bir AWS Glue tablosunda istatistik oluşturursanız ve istatistiklerin çalışması 10 dakika sürer ve 1 DPU tüketirse 1 DPU * 0,1666 saat * 0,44 USD/DPU saati şeklinde faturalandırılırsınız. Bu da 0,07 USD'ye eşittir.

Amazon S3 nesne depolama alanında depolanan Apache Iceberg tablolarını sıkıştırırsanız ve sıkıştırma 30 dakika sürer ve 2 DPU tüketirse 2 DPU * 0,5 saat * 0,44 USD/DPU saati şeklinde faturalandırılırsınız. Bu da 0,44 USD'ye eşittir.

Fiyatlandırma örnekleri

AWS Glue DataBrew: Her bir 30 dakikalık etkileşimli oturum ücreti 1,00 USD'dir. Bir oturumu 09:00'da başlatır, hemen konsoldan ayrılır ve 09:20 - 09:30'da dönerseniz bu, 1 oturum kullanır ve toplam 1,00 USD faturalandırılırsınız.

Bir oturumu 09:00'da başlatır ve 09:50'ye kadar DataBrew konsoluyla etkileşim kurar, DataBrew proje alanından çıkar ve 10:15'te geri gelerek son kez etkileşimde bulunursanız bu 3 oturum kullanır ve oturum başına 1,00 USD olmak üzere toplam 3,00 USD faturalandırılırsınız.

Fiyatlandırma örnekleri

AWS Glue DataBrew: Bir DataBrew işinin 10 dakika boyunca çalışması ve 5 DataBrew düğümü kullanılması durumunda ücret 0,40 USD olur. İşiniz bir saatin 1/6'sı kadar çalıştığı ve 5 düğüm kullandığı için düğüm saati başına 0,48 USD fiyattan 5 düğüm * 1/6 saat kadar, yani toplamda 0,40 USD faturalandırılırsınız.

AWS Glue Veri Kalitesi, yüksek veri kalitesi elde etmenize yardımcı olarak verilerinize güvenmenizi sağlar. Veri gölleri ve işlem hatlarınızdaki veri kalitesini otomatik olarak ölçerek, izleyerek ve yöneterek eksik, eski veya kötü verilerin belirlenmesini kolaylaştırır.

Veri Kataloğu ve AWS Glue Studio'dan ve AWS Glue API'leri aracılığıyla veri kalitesi özelliklerine erişebilirsiniz.

Veri Kataloğu'nda kataloglanan veri kümelerinin veri kalitesini yönetmek için fiyatlandırma:

Veri Kataloğu'ndan bir veri kümesi seçebilir ve öneriler oluşturabilirsiniz. Bu eylem, veri işlem birimlerini (DPU'lar) tedarik edeceğiniz bir Öneri Görevi oluşturacaktır. Önerileri aldıktan sonra kuralları değiştirebilir veya yeni kurallar ekleyebilir ve bunları planlayabilirsiniz. Bu görevler, DPU tedarik edeceğiniz Veri Kalitesi Görevleri olarak adlandırılır. Minimum 1 dakikalık faturalandırma süresi olan en az 2 DPU'ya ihtiyacınız olacaktır.

AWS Glue ETL'de işlenen veri kümelerinin veri kalitesini yönetme fiyatlandırması:

Veri göllerine kötü verilerin girmesini önlemek için veri kalitesi kontrollerini ETL işlerinize de ekleyebilirsiniz. Bu veri kalitesi kuralları, ETL işlerinizde yer alacak ve çalışma zamanının veya DPU tüketiminin artmasına neden olacaktır. Alternatif olarak, SLA duyarlı olmayan iş yükleri için Esnek yürütme kullanabilirsiniz.

AWS Glue ETL'de anormallikleri tespit etmek için fiyatlandırma:

Anormallik algılama:
Anormallikleri tespit etmek için geçen süre boyunca ETL iş DPU'larınıza ek olarak istatistik başına 1 DPU'ya tabi tutulacaksınız. 1 istatistiğin anormalliğini tespit etmek ortalama 10-20 saniye sürer. İki Kural (Kural 1: Veri hacmi 1000 kayıttan büyük olmalı, Kural 2: Sütun sayıları 10'dan büyük olmalı) ve bir Analizör (Analizör 1: Bir sütunun bütünlüğünü izlemeli) yapılandırdığınızı varsayalım. Bu yapılandırma satır sayısı, sütun sayısı ve bir sütunun bütünlük yüzdesi olmak üzere üç istatistik üretecektir. Anormallikleri en az 1 saniyede tespit etmek için geçen süre boyunca 3 ek DPU'dan ücret alınacaktır. Daha fazla ayrıntı için 4. örneğe bakın.

Yeniden eğitim:
Anormallik algılama algoritmasının sonraki anormallikleri doğru bir şekilde tahmin etmesi için anormal iş çalıştırmalarını veya istatistikleri hariç tutmak isteyebilirsiniz. Bunu yapmak için AWS Glue, istatistikleri hariç tutmanızı veya eklemenizi sağlar. Modeli yeniden eğitmek için gereken süre boyunca yeniden eğitmek üzere 1 DPU'ya tabi tutulacaksınız. Yeniden eğitim istatistik başına ortalama 10 saniye ila 20 dakika sürer. Daha fazla ayrıntı için 5. örneğe bakın.

İstatistik depolama:
Toplanan istatistikleri saklamak için herhangi bir ücret alınmaz. Hesap başına 100 bin istatistik sınırı vardır ve 2 yıl boyunca saklanır.

Ek ücretler:
AWS Glue, verileri doğrudan Amazon Simple Storage Service (Amazon S3) üzerinden işler. AWS Glue ile verilerinizi okumak için ek depolama ücreti alınmaz. Depolama, istekler ve veri aktarımı için standart Amazon S3 fiyatlarına göre ücretlendirilirsiniz. Yapılandırmanıza bağlı olarak geçici dosyalar, veri kalitesi sonuçları ve karışık dosyalar, seçtiğiniz bir S3 klasöründe depolanır ve ayrıca standart S3 ücretleri üzerinden faturalandırılır.

Veri Kataloğu'nu kullanırsanız standart Veri Kataloğu ücretlerini ödersiniz. Ayrıntılar için Veri Kataloğu depolaması ve istekleri sekmesini seçin.

Fiyatlandırma örnekleri

Örnek 1 - Veri Kataloğu'nda bir tablo için öneriler alın

Örneğin, 10 dakikada tamamlanan 5 DPU'lu bir öneri görevi düşünün. 0,44 USD fiyattan 5 DPU * 1/6 saat için toplamda 0,37 USD ödersiniz.

Örnek 2 - Veri Kataloğu'nda bir tablonun veri kalitesini değerlendirin

Önerileri inceledikten sonra gerekirse düzenleyebilir ve ardından DPU'lar tedarik ederek veri kalitesi görevini planlayabilirsiniz. Örneğin, 20 dakikada tamamlanan 5 DPU’lu bir veri kalitesi değerlendirme görevi düşünün.
0,44 USD fiyattan 5 DPU * 1/3 saat için toplamda 0,73 USD ödersiniz.

Örnek 3 – AWS Glue ETL işinde veri kalitesini değerlendirin

Veri göllerinize kötü verilerin girmesini önlemek için bu veri kalitesi kontrollerini AWS Glue ETL işlerinize de ekleyebilirsiniz. Bunu, AWS Glue Studio’da Veri Kalitesi Dönüştürme ekleyerek veya AWS Glue Studio not defterlerinde yazdığınız kod içinde AWS Glue API’lerini kullanarak yapabilirsiniz. 6 DPU ile 20 dakika (1/3 saat) yürütülen, işlem hattı dâhilinde veri kalitesi kurallarının yapılandırıldığı yerde çalışan bir AWS Glue işi düşünün. 0,44 USD fiyattan 6 DPU * 1/3 saat için toplamda 0,88 USD ücretlendirilirsiniz. Alternatif olarak, 0,29 USD fiyattan 6 DPU * 1/3 saat (0,58 USD'ye eşittir) için ücretlendirileceğiniz Flex'i kullanabilirsiniz.

4. Örnek - Anormallik Algılama ile AWS Glue ETL işinde veri kalitesini değerlendirme

Amazon Redshift'e yüklemeden önce Amazon S3'ten veri okuyan, verileri dönüştüren ve veri kalitesi denetimlerini çalıştıran bir AWS Glue işi düşünün. Bu işlem hattının 10 kural ve 10 analizörü olduğunu ve 20 istatistik toplandığını varsayalım. Ayrıca çıkarma, dönüştürme süreci, yükleme, istatistik toplama ve veri kalitesi değerlendirmesinin 20 dakika süreceğini varsayalım. Anormallik Algılama etkinleştirilmeden müşteriden 6 DPU * 1/3 saat (20 dakika) * 0,44 USD ücret alınır; bu da 0,88 USD (A) eder. Anormallik Algılama açıkken her istatistik için 1 DPU ekleriz ve anomarllikleri tespit etmek ortalama 15 saniye sürer. Bu örnekte, müşteri 20 istatistiğe tabi tutulacaktır * 1 DPU * 15/3.600 (0,0041 saat/istatistik) * 0,44 USD (DPU/saat başına maliyet) = 0,037 USD (B). İşin toplam maliyeti 0,88 USD (A) + 0,037 USD (B) = 0,917 USD olacaktır.

5. Örnek - Yeniden Eğitim

Glue işinizin bir anormallik tespit ettiğini düşünün. Anormalliği modelden hariç tutmaya karar verirsiniz ve böylece anormallik algılama algoritması gelecekteki anormallikleri doğru bir şekilde tahmin eder. Bunu yapmak için bu anormal istatistiği hariç tutarak modeli yeniden eğitebilirsiniz. Modeli yeniden eğitmek için geçen süre boyunca istatistik başına 1 DPU'ya tabi tutulacaksınız. Bu ortalama 15 saniye sürebilir. Bu örnekte, 1 veri noktasını hariç tuttuğunuzu düşünürsek 1 istatistik * 1 DPU * 15/3.600 (0,0041 saat/istatistik) * 0,44 USD = 0,00185 USD'ye tabi tutulursunuz.

Sıfır ETL, analiz ve yapay zekâ girişimlerinizde yaygın alım ve çoğaltma kullanım örneklerinde ayıklama, dönüştürme ve yükleme (ETL) veri işlem hatları oluşturma ihtiyacını en aza indiren, AWS tarafından tam olarak yönetilen bir entegrasyon kümesidir. AWS, sıfır ETL entegrasyonu için ek ücret talep etmez. Sıfır ETL entegrasyonunun parçası olarak oluşturulan değişiklik verilerini oluşturmak ve işlemek üzere kullanılan kaynak ve hedef kaynakları için ödeme yaparsınız.

Uygulamalardan sıfır ETL entegrasyonları için Amazon SageMaker Göl Evi ve Amazon Redshift desteği

Amazon SageMaker Göl Evi ve Amazon Redshift, uygulamalardan Amazon SageMaker Göl Evi ve Amazon Redshift'e veri ayıklanmasını ve yüklenmesini otomatikleştiren uygulamalarda sıfır ETL entegrasyonlarını destekler. Desteklenen sıfır ETL kaynaklarının tam listesi için AWS Glue sıfır ETL belgelerine bakın.

AWS Glue, sıfır ETL entegrasyonu tarafından desteklenen uygulama kaynağı verilerinin alımı için bir ücret talep eder. Uygulamanızdan ekleri, güncellemeleri ve silme işlemlerini getirmek için kullanılan AWS Glue kaynakları için ödeme yaparsınız. Uygulamadan alınan veri hacmine göre ücretlendirilirsiniz ancak veri alma talebini başlatmak için ücret alınmaz. AWS Glue tarafından yapılan her alım isteğinin minimum hacim sınırı 1 megabayttır (MB).

Alınan veriler Amazon Redshift'e yazıldığında Amazon Redshift fiyatlandırma oranlarına göre sıfır ETL entegrasyonunun bir parçası olarak oluşturulan değiştirilmiş verileri işlemek adına kullanılan kaynaklar için ödeme yaparsınız.

Alınan veriler SageMaker Göl Evi'ne yazıldığında sıfır ETL entegrasyonunun bir parçası olarak oluşturulan değiştirilmiş verileri işlemek adına kullanılan kaynaklar için ödeme yaparsınız. Kullanılan işlem kaynağı, SageMaker Göl Evi için seçilen depolama türüne bağlıdır.

• Amazon Redshift tarafından yönetilen depolama için Amazon Redshift Sunucusuz işlemi bazında ücretlendirilirsiniz. Daha fazla bilgi için Amazon Redshift fiyatlandırmasına göz atın.
• Amazon Simple Storage Service (S3) için Veri İşleme Birimi Saati (DPU Saati) başına AWS Glue hesaplamasına göre ücret alınır ve minimum 1 dakika süre ile saniye başına faturalandırılır.

 

Amazon SageMaker Göl Evi ile Amazon DynamoDB sıfır ETL entegrasyonu

Amazon SageMaker Göl Evi ile Amazon DynamoDB sıfır ETL entegrasyonu, verilerin ayıklanmasını ve yüklenmesini otomatikleştirerek veri göl evindeki DynamoDB tablolarından veriler için analiz ve yapay zekâ sağlar.

DynamoDB, DynamoDB sürekli yedeklemelerinizdeki verileri dışa aktarmak için sizden bir ücret alır (zaman içinde nokta kurtarma). Daha fazla bilgi için Amazon DynamoDB fiyatlandırmasına göz atın.

Alınan veriler Amazon SageMaker Göl Evi'ne yazıldığında Amazon SageMaker Göl Evi için seçilen depolama türüne göre sıfır ETL entegrasyonunun bir parçası olarak oluşturulan değiştirilmiş verileri işlemek adına kullanılan kaynaklar için ödeme yaparsınız.

• Amazon Redshift tarafından yönetilen depolama için Amazon Redshift Sunucusuz işlemi bazında ücretlendirilirsiniz. Daha fazla bilgi için Amazon Redshift fiyatlandırmasına göz atın.
• Amazon Simple Storage Service (S3) için Veri İşleme Birimi Saati (DPU Saati) başına AWS Glue hesaplamasına göre ücret alınır ve minimum 1 dakika süre ile saniye başına faturalandırılır.