Örnek sorular
Ml Monitoring DriftZorluk 1
Üretime alınmış bir makine öğrenmesi modeli bağlamında 'data drift' (veri kayması) terimi neyi ifade eder?
- aEğitim pipeline'ındaki bir hatanın, modelin bozuk etiketlerle eğitilmesine yol açması.
- bSunum altyapısı yaşlandıkça modelin çıkarım gecikmesinin kademeli olarak artması.
- cModelin üretimde aldığı girdi dağılımının, eğitim verisine kıyasla değişmesi.✓
- dMühendislik ekibinin dağıtımdan sonra model mimarisinde bilinçli olarak yaptığı bir değişiklik.
Açıklama:Data drift, gerçek girdi-çıktı ilişkisi değişmese bile, üretimde görülen girdi (özellik değerleri) dağılımının eğitim dağılımından uzaklaşması anlamına gelir. Bu; pipeline hatalarından, gecikme sorunlarından veya mimari değişikliklerden farklıdır.
Ml Monitoring DriftZorluk 1
Üretimdeki bir model için 'concept drift' (kavram kayması) ne anlama gelir?
- aGirdiler ile doğru çıktı arasındaki ilişkinin zamanla değişmesi.✓
- bKaynak veritabanındaki bir şema değişikliği nedeniyle modelin kullanabildiği özellik setinin daralması.
- cModelin çıktı formatının olasılık skorundan sınıf etiketine dönüşmesi.
- dEğitim veri setinin daha fazla bölgeyi kapsayan daha büyük bir veri setiyle değiştirilmesi.
Açıklama:Concept drift, öğrenilen fonksiyonun (girdi ile sonuç arasındaki ilişkinin) değişmesiyle ilgilidir, sadece girdi dağılımıyla değil. Bu yüzden model 'normal görünen' girdiler almaya devam etse bile gitgide daha yanlış tahminler üretebilir.
Ml Monitoring DriftZorluk 2
Bir ekip, girdi özellik değerlerinin dağılımı eğitim dönemine göre neredeyse aynı görünmesine rağmen modelin doğruluğunun düştüğünü fark ediyor. En olası açıklama hangi drift türüdür?
- aData drift — girdi özellik dağılımı, özet istatistiklerle tespit edilemeyecek bir şekilde kaymıştır.
- bEtiket sızıntısı — eğitim setine yanlışlıkla hedef değişken özellik olarak dahil edilmiştir.
- cÖrnekleme yanlılığı — üretim trafiği, değerlendirmede kullanılan test setinden farklı bir kitleyi temsil etmektedir.
- dConcept drift — girdiler değil, girdiler ile doğru sonuç arasındaki ilişki değişmiştir.✓
Açıklama:Girdi dağılımları stabil görünüyor ama tahmin performansı düşüyorsa, muhtemelen girdiler değil (data drift), girdiden çıktıya olan eşleme (concept drift) değişmiştir.
Ml Monitoring DriftZorluk 1
'Offline' model performans monitoring'ini en iyi tanımlayan seçenek hangisidir?
- aHer tahmin isteğini ve yanıtını gerçek zamanlı olarak kaydedip hiçbir metrik hesaplamamak.
- bModeli, doğruluk benzeri metrikler için etiketli yakın geçmiş veriye karşı periyodik olarak değerlendirmek.✓
- cYalnızca sunum altyapısının CPU ve bellek kullanımını izlemek.
- dOrijinal eğitim koşusu sırasında modelin eğitim kaybı (loss) eğrisini izlemek.
Açıklama:Offline monitoring, üretimdeki yakın geçmiş veri için gerçek etiketler elde edildikten sonra, precision/recall/hata oranı gibi denetimli metrikleri genellikle günlük ya da haftalık bir takvimle yeniden hesaplamak demektir.
Ml Monitoring DriftZorluk 2
Üretimde gerçek etiketler genellikle hemen elde edilemediğinden, 'online' monitoring bunun yerine tipik olarak neye dayanır?
- aTahmin anında elde edilebilen proxy sinyaller; girdi ve tahmin dağılımları gibi.✓
- bHer tahminin sunulmadan önce bir insan uzman tarafından tek tek manuel olarak incelenmesi.
- cGelen her istekte tüm offline değerlendirme paketinin yeniden çalıştırılması.
- dModel sağlığını kontrol etmeden önce bir sonraki planlı yeniden eğitim döngüsünü beklemek.
Açıklama:Online monitoring, gerçek etiketler anında olmadan çalışmalıdır; bu yüzden etiketli değerlendirme mümkün olmadan önce sorunları yakalamak için girdi/tahmin dağılım kaymaları, güven skorları ve hacim anomalileri gibi proxy sinyalleri izler.
Ml Monitoring DriftZorluk 2
Bir dolandırıcılık tespiti modelinin gerçek etiketleri (onaylanmış dolandırıcılık/değil), bir itiraz süreci sonuçlanana kadar işlemden 30 gün sonra elde edilebiliyor. Bu durum ana olarak hangi monitoring zorluğunu yaratır?
- aPerformans değişse de değişmese de model her 30 günde bir yeniden eğitilmelidir.
- bFeature store 30 günden eski veriyi saklayamaz, bu yüzden geçmişe dönük karşılaştırma imkansızdır.
- cPrecision ve recall ancak 30 günlük bir gecikmeyle hesaplanabilir, bu da sorun tespitini yavaşlatır.✓
- dEtiketler geldikten sonra işlemlerin ikinci kez modelden geçirilmesi gerekir.
Açıklama:Gerçek etiket sabit bir pencereyle (burada 30 gün) gecikince, ekiplerin sorunları neredeyse gerçek zamanlı yakalaması için proxy/online monitoring'e ihtiyacı olur; çünkü etikete dayalı offline metrikler doğal olarak aynı pencere kadar gecikir.