Question 1

Spark SQL MERGE INTO ifadesinde WHEN MATCHED THEN UPDATE cümlesi ne işe yarar?

Accepted Answer

Doğru cevap: Birleştirme koşuluna göre kaynakla eşleşen hedef satırı günceller. WHEN MATCHED THEN UPDATE, yalnızca birleştirme koşuluna göre bir kaynak satırıyla eşleşen hedef satırlara uygulanır; eşleşmeyen kaynak satırları ayrı bir WHEN NOT MATCHED cümlesiyle ele alınır.

Question 2

Delta Lake MERGE INTO ifadesinde WHEN NOT MATCHED THEN INSERT cümlesinin amacı nedir?

Accepted Answer

Doğru cevap: Eşleşen anahtarı olmayan kaynak satırı için yeni satır ekler. WHEN NOT MATCHED, kaynak satırın anahtarı hedefte bulunmadığında devreye girer; bu tam olarak onu yeni bir satır olarak eklemenin koşuludur — merge'ü bir upsert'e dönüştüren mekanizma budur.

Question 3

Silinen bir kaynak satırı için Debezium değişiklik olayı şöyle görünür: "op": "d" bu olayı tüketen bir sisteme neyi söyler?

Accepted Answer

Doğru cevap: Satır silindi; before son durumu taşır, after null'dur. Debezium'da op alanı işlem tipini belirtir; "d" bir delete'tir. Delete olaylarında after null'dur çünkü satır artık yoktur, before ise silinmeden hemen önceki satır durumunu taşımaya devam eder.

Question 4

'MERGE koşulunun kaynak tarafında, aynı hedef satırla birden fazla kaynak satırının eşleşmesi' pratikte neden en sık karşılaşılan MERGE INTO hatası sayılır?

Accepted Answer

Doğru cevap: Çünkü Delta Lake, bir update/delete cümlesi varken bunu reddeder. Delta Lake ve benzeri motorlar, birleştirme koşulu birden fazla kaynak satırını tek bir hedef satırla eşleştirdiğinde ve bir WHEN MATCHED update/delete cümlesi varken açık bir hata fırlatır (ör. UnsupportedOperationException), çünkü hangi kaynak satırının kazanacağı belirsiz olur — CDC veya extract batch'inde yinelenen anahtarlar ise sık rastlanan bir durumdur.

Question 5

Kaynağın bir anahtar için birden fazla satır içerebileceği bir MERGE INTO çalıştırmadan önce, çoklu-eşleşme hatasını hangi ön işleme adımı önler?

Accepted Answer

Doğru cevap: Kaynağı ROW_NUMBER() ile anahtar başına dedup etmek. Yalnızca sıralamak yinelenen satırları kaldırmaz, LIMIT 1'i MERGE INTO ifadesine eklemek geçerli değildir ve shuffle partition sayısının yinelenen anahtarlarla ilgisi yoktur. Kaynağı anahtara göre pencereleyip bir güncellik sütununa göre sıralamak ve anahtar başına yalnızca en üstteki satırı tutmak, birleştirme koşulu değerlendirilmeden önce anahtar başına en fazla bir kaynak satırı garanti eder.

Question 6

Bir Spark INSERT OVERWRITE TABLE t PARTITION (dt='2026-08-15') SELECT ... ifadesi hedef partition'a ne yapar?

Accepted Answer

Doğru cevap: O partition'ın tüm içeriğini SELECT sonucuyla değiştirir. Belirli bir partition üzerinde INSERT OVERWRITE, o partition'ın var olan içeriğini atar ve tamamen sorgu sonucuyla değiştirir — MERGE INTO'nun aksine satır düzeyinde bir eşleştirme yoktur.

Data Engineer Pe Incremental Cdc Merge Mechanics Mülakat Soruları

Örnek sorular

Uzmanlığa göre

Kıdeme göre

Diğer alanlar