Örnek sorular
Aimlops Model Monitoring Drift DetectionZorluk 1
Prodüksiyon model monitoring'de 'data drift' nedir?
- aYalnızca serving kodundaki bir hatadan kaynaklanan, girdi verisiyle ilgisi olmayan bir accuracy düşüşü.
- bModelin girdi özelliklerinin istatistiksel dağılımının, eğitim verisine kıyasla değişmesi.✓
- cİstek hacmi arttıkça inference latency'sinin zamanla kademeli olarak artması.
- dGirdiler değişmeden, girdi özellikleri ile hedef etiket arasındaki ilişkinin değişmesi.
Açıklama:Data drift, girdi özellik dağılımının modelin eğitildiği dağılımdan uzaklaşmasıdır (örn. ortalama sipariş tutarının zamanla yükselmesi) — girdi-çıktı ilişkisinin kendisi değişmiş olsun ya da olmasın. (a) bir kod hatasını anlatır, istatistiksel bir özellik değil. (c) latency/performans konusudur, verinin istatistiğiyle ilgili değildir. (d) concept drift'i tanımlar; bu, girdi-çıktı ilişkisinin değişmesidir ve ayrı bir olgudur.
Aimlops Model Monitoring Drift DetectionZorluk 1
'Concept drift' nedir ve data drift'ten farkı ne?
- aConcept drift, özellik dağılımının değişmesi demektir; data drift ise etiket dağılımının değişmesi demektir.
- bConcept drift ve data drift, birbirinin yerine kullanılan aynı olgunun iki adıdır genel olarak.
- cConcept drift yalnızca computer vision modellerinde, data drift ise yalnızca tabular modellerde görülür.
- dConcept drift, girdi dağılımları istatistiksel olarak sabit görünse bile, girdiler ile hedef arasındaki gerçek ilişkinin değişmesi demektir.✓
Açıklama:Concept drift, P(etiket | girdi)'nin değişmesidir — modelin yakalaması gereken temel örüntü değişir (örn. 'dolandırıcılık' sayılan davranış değişir); bu, girdilerin kendisi istatistiksel olarak sabit görünse bile olabilir. (a) tanımları yer değiştiriyor. (b) iki ayrı olguyu tek sayarak önemli bir teşhis ayrımını kaybediyor. (c) her iki kavramın da gerçekte kapsamıyla uyuşmayan bir modalite kısıtlaması uyduruyor.
Aimlops Model Monitoring Drift DetectionZorluk 2
Bir dolandırıcılık tespit modelinin girdi özellikleri (işlem tutarı, merchant kategorisi, saat) eğitim zamanındakiyle istatistiksel olarak aynı görünüyor, ama dolandırıcılar taktik değiştirdiği için modelin precision'ı sert biçimde düşüyor. Bu en olası olarak neyin örneğidir?
- aConcept drift: aynı görünen girdiler ile dolandırıcılık etiketi arasındaki ilişki değişmiş.✓
- bData drift: girdi özellik dağılımları eğitim dağılımından uzaklaşmış.
- cBir etiketleme hatası: gerçek dolandırıcılık etiketleri yanlış veri tipiyle kaydediliyor.
- dModel overfitting: model eğitim setini ezberlemiş ve yeni işlemlere hiç genelleyememiş.
Açıklama:Girdiler değişmemiş görünse de, onları etikete ('bu dolandırıcılık mı?') bağlayan örüntü değiştiği için bu concept drift'tir (a). (b), özellik dağılımlarının aynı göründüğü öncülüyle elenir. (c) ve (d), senaryonun hiçbir kanıt sunmadığı ilgisiz hata modları (bir veri-tipi hatası ya da eğitim-zamanı genelleme sorunu) uyduruyor.
Aimlops Model Monitoring Drift DetectionZorluk 1
'Müşteri yaşı' gibi sayısal bir özellik için, ground-truth etikete ihtiyaç duymadan data drift tespiti amacıyla tipik olarak neyi izlersin?
- aModelin eğitim repository'sinde şu anda geçen unit test sayısını.
- bŞu anda deploy edilmiş modeli eğiten kodun tam git commit hash'ini.
- cModelin tek bir istek için tahmin döndürmesinin kaç milisaniye sürdüğünü.
- dGelen değerlerin dağılımının (ör. ortalama, quantile'lar, histogram) eğitim dağılımıyla nasıl karşılaştığını.✓
Açıklama:Özellik dağılımı izleme, canlı girdi istatistiklerini (ortalama, quantile'lar, histogram şekli) eğitim baseline'ıyla karşılaştırır ve ground-truth etikete ihtiyaç duymaz (d). (a) ve (b) girdi istatistikleriyle ilgisiz yazılım/repo metadata'sıdır. (c) latency ölçer, bu bir serving-performans konusudur, dağılımla ilgili değildir.
Aimlops Model Monitoring Drift DetectionZorluk 2
Bir modelin downstream performans metriği (accuracy gibi) gözle görülür şekilde bozulmadan önce data drift izlemek neden faydalıdır?
- aErken uyarı sinyali olabilir, çünkü girdi kaymaları genelde ölçülebilir bir performans düşüşünden önce ortaya çıkar.✓
- bGerçek performans metriklerini hiç ölçme ihtiyacını ortadan kaldırır, çünkü drift skorları her zaman daha doğrudur.
- cBir modelin prodüksiyona deploy edilebilmesi için her cloud sağlayıcının kullanım şartlarınca zorunludur.
- dHiçbir özellikte drift tespit edilmediği sürece modelin tahminlerinin doğru kalacağını garanti eder.
Açıklama:Girdilerdeki dağılım kaymaları, gecikmeli bir performans metriğini etkileyecek kadar etiketli sonuç birikmeden önce ortaya çıkabilir; bu yüzden drift izleme daha erken, tamamlayıcı bir sinyal sağlar (a). (b), drift izlemenin performans değerlendirmesinin yerine geçtiğini yanlış iddia ediyor; oysa onu tamamlar. (c) uydurma bir sağlayıcı zorunluluğu icat ediyor. (d), accuracy'nin girdi dağılımı dışındaki etkenlere de bağlı olduğu gerçeğini görmezden gelerek drift izlemenin veremeyeceği bir garanti iddia ediyor.
Aimlops Model Monitoring Drift DetectionZorluk 2
Bir monitoring dashboard'u son bir ayda 'model performance decay' gösteriyor. Bu terim neyi tanımlar?
- aModel artifact dosyasının diskteki fiziksel depolama boyutunun kademeli olarak azalması.
- bModelin gerçek dünyadaki tahmin kalitesinin (ör. accuracy, precision) yayınlandığı zamana kıyasla kademeli olarak düşmesi.✓
- cDepolama maliyetini azaltmak için eski model sürümlerinin model registry'den planlı olarak kaldırılması.
- dModelin inference zamanında aldığı özellik sütunu sayısının artması.
Açıklama:Performance decay, genellikle drift ya da değişen bir ortamdan kaynaklanan, tahmin kalitesinin yayın zamanına kıyasla zamanla bozulmasını tanımlar (b). (a) disk kullanımını anlatır, tahmin kalitesiyle ilgisizdir. (c) registry bakımını anlatır, bir kalite sinyali değildir. (d) özellik kümesinde bir şema değişikliğini anlatır; bu drift'in olası bir nedeni olabilir ama decay'in tanımı değildir.