Örnek sorular
Data Quality ValidationZorluk 1
Bir veri pipeline'ında "şema doğrulama" (schema validation) ne anlama gelir?
- aDepolamaya yazılmadan önce her sütunu şifrelemek
- bBir tablonun depolama alanını azaltmak için kayıtları sıkıştırmak
- cGelen verinin beklenen yapıya uyup uymadığını kontrol etmek✓
- dSütunları otomatik olarak bir adlandırma kuralına uyacak şekilde yeniden adlandırmak
Açıklama:Şema doğrulama, gelen kayıtların beklenen yapıya uyup uymadığını — alan adlarının mevcut olup olmadığını, tiplerin doğru olup olmadığını, zorunlu alanların eksik olup olmadığını — verinin akış aşağısında güvenilir sayılmasından önce kontrol eder. Şifreleme, sıkıştırma ya da yeniden adlandırma değildir.
Data Quality ValidationZorluk 2
Bir pipeline'da şema doğrulama en çok nerede faydalıdır?
- aMümkün olduğunca erken, veri pipeline'a girer girmez✓
- bYalnızca en sonda, bir dashboard nihai tabloyu okumadan hemen önce
- cYalnızca analitik ekibinin raporlama sorguları içinde
- dYalnızca yıllık bir veri denetimi sırasında, senede bir kez
Açıklama:Alım noktasına mümkün olduğunca yakın doğrulama yapmak, hatalı verinin her aşağı akış aşamasına yayılmasını önler; bu, bozuk veri birçok dönüşümden geçtikten sonra sorunu yakalamaktan çok daha ucuzdur.
Data Quality ValidationZorluk 1
Bir veri üreticisi (producer) ile veri tüketicisi (consumer) arasındaki "veri sözleşmesi" (data contract) nedir?
- aŞirketin tüm verilerini kapsayan, yılda bir kez imzalanan hukuki bir belge
- bÜreticinin teslim ettiği verinin şekli ve garantileri hakkında açık bir anlaşma✓
- cHer ekibin veritabanına atanan fiziksel depolama kotası
- dBulut altyapı maliyetleri hakkında bir faturalama anlaşması
Açıklama:Veri sözleşmesi, veriyi üreten ekip ile onu tüketen ekip(ler) arasında şema, anlam ve teslimat garantilerini kapsayan, genellikle makine tarafından kontrol edilebilen açık bir anlaşmadır — böylece üretici tarafındaki değişiklikler tüketicileri sessizce bozmaz.
Data Quality ValidationZorluk 2
Bir veri sözleşmesi öncelikle hangi sorunu önlemeye yardımcı olur?
- aEksik indekslerden kaynaklanan yavaş sorgu performansı
- bÇok fazla geçmiş veri tutmaktan doğan yüksek bulut depolama faturaları
- cİki veri merkezi arasındaki ağ gecikmesi
- dÜreticinin veri şeklini veya anlamını sessizce değiştirmesi✓
Açıklama:Veri sözleşmesinin temel değeri, üretici/tüketici arasındaki kırılmayı erken yakalamaktır: üretici bir alanın tipini, anlamını değiştirir veya alanı kaldırırsa, sözleşme bunu görünür kılar; aksi halde akış aşağısı tüketiciler sessizce bozulur.
Data Quality ValidationZorluk 1
Bir sütun üzerindeki "null kontrolü" ne arar?
- aZorunlu bir sütunda bir değerin eksik olup olmadığını✓
- bSütun adının içinde kelimenin tam olarak "null" geçip geçmediğini
- cTablonun sıfır satıra sahip olup olmadığını
- dSütunun veri tipinin string olup olmadığını
Açıklama:Null kontrolü, zorunlu alanların gerçekten doldurulup doldurulmadığını doğrular ve bir değerin beklenmedik şekilde eksik olduğu satırları işaretler — temel bir completeness güvencesidir.
Data Quality ValidationZorluk 2
Bir "duplicate (yinelenen kayıt) kontrolü" tipik olarak neyi tespit eder?
- aSayısal bir sütunda negatif değer içeren satırları
- bSon pipeline çalışmasından bu yana yeniden adlandırılmış sütunları
- cAynı mantıksal kaydı temsil eden birden fazla satırı✓
- dSon 30 gündür sorgulanmamış tabloları
Açıklama:Duplicate kontrolü, aynı varlığı mantıksal olarak temsil eden ve genellikle benzersiz bir anahtarın ya da iş kimliğinin tekrarlanmasıyla tespit edilen satırları arar — bu, akış aşağısında sayıları ve toplamları sessizce şişirebilir.