Örnek sorular
Aimlops Ml Cicd PipelinesZorluk 1
Bir ML CI/CD pipeline'ında, eğitim/değerlendirme adımından hemen sonra yer alan bir deploy-öncesi validation gate'in temel amacı nedir?
- aYeni eğitilen model tanımlı metrik eşiklerini geçmedikçe bir sonraki aşamaya ilerlemesini engeller.✓
- bEğitilmiş modelin ağırlıklarını sıkıştırarak deploy artifact'ini küçültür.
- cModelin mimarisine dayanarak eğitim kodunun unit testlerini otomatik yazar, ardından bunları gelecekteki denetimler için model registry içinde zorunlu regresyon artifact'leri olarak arşivler.
- dModel düzeltilmiş hedeflerle yeniden eğitilebilsin diye eğitim verisini yeniden etiketler.
Açıklama:Validation gate bir kontrol noktasıdır: aday modelin metrikleri (accuracy, latency vb.) tanımlı barı geçmezse pipeline durur ve model daha ileri taşınmaz. (b) model sıkıştırmayı, (c) test üretimini, (d) yeniden etiketlemeyi anlatır — bunların hiçbiri bir validation gate'in yaptığı şey değildir.
Aimlops Ml Cicd PipelinesZorluk 1
Bir ML pipeline üç retraining tetikleyici tipini destekliyor: sabit bir zamanlama (örn. haftalık), bir mühendisin manuel tetiklemesi ve gelen feature verisi eğitim dağılımından saptığında ateşlenen otomatik bir tetikleyici. Hangisi 'drift tabanlı' olandır?
- aSabit haftalık zamanlama, çünkü drift doğal olarak bir hafta boyunca birikir.
- bManuel tetikleyici, çünkü drift'i herhangi bir sistemden önce bir insan fark eder.
- cÜçünden hiçbiri; drift tespiti retraining tetikleyicileriyle ilgisizdir, çünkü drift yalnızca veri bilimcilerin dashboard'ları manuel incelemesiyle keşfedilir.
- dGelen feature verisi eğitim-zamanı dağılımından saptığında ateşlenen otomatik tetikleyici.✓
Açıklama:Drift tabanlı bir tetikleyici, prod girdi verisini eğitim dağılımına karşı izler ve sapma bir eşiği aştığında retraining'i otomatik ateşler. (a) zaman tabanlıdır, dağılım tabanlı değil. (b) insan başlatmalıdır, otomatik değil. (c) drift tetikleyicilerinin var olduğunu yanlış biçimde inkar ediyor.
Aimlops Ml Cicd PipelinesZorluk 2
Bir deploy gate'i, aday modelin accuracy'sinin mevcut production modelinin accuracy'sinden en fazla 0,01 düşük olmasını şart koşuyor. Production accuracy 0,90. Aday model 0,885 skorluyor. Aday gate'i geçer mi?
- aEvet, çünkü 0,885 yukarı yuvarlanınca 0,89 olur, bu da minimumu tam karşılar.
- bHayır, çünkü kabul edilebilir minimum accuracy 0,90 - 0,01 = 0,89'dur ve 0,885 bunun altındadır.✓
- cEvet, çünkü production modelleri için 0,80 üzeri her accuracy kabul edilebilir sayılır.
- dHayır, çünkü adayın production accuracy'sini sadece yaklaşmakla değil kesin olarak geçmesi gerekir.
Açıklama:min_kabul = 0,90 - 0,01 = 0,89; adayın 0,885'i 0,89'un altında, bu yüzden gate başarısız olur. (a) gate'in kullanmadığı bir yuvarlama kuralı uyduruyor. (c) ilgisiz sabit bir eşik uyduruyor. (d) gate'in kuralını kesin iyileşme gerektiriyormuş gibi yanlış tarif ediyor.
Aimlops Ml Cicd PipelinesZorluk 2
Bir latency gate'i, p95 inference latency'sinin en fazla 200ms olmasını şart koşuyor. Aday modelin load test'i p95 = 215ms raporluyor. Gate ne yapar?
- aAdayı geçirir, çünkü 215ms, 200ms limitinin %10'u içindedir.
- bAdayı geçirir, çünkü p95 latency yalnızca production modeli için önemlidir, adaylar için değil.
- c215ms'i önceki modelin p95'i ile ortalar ve bu ortalamayı 200ms ile karşılaştırır.
- dAdayı başarısız sayar, çünkü 215ms 200ms eşiğini aşıyor, ve deploy'u engeller.✓
Açıklama:215ms > 200ms olduğundan gate koşulu (p95 <= 200ms) sağlanmaz ve aday deploy edilmekten engellenir. (a) gate'in sahip olmadığı bir tolerans bandı uyduruyor. (b) gate'i yanlış uyguluyor; gate'in amacı adayı promosyon öncesi kontrol etmektir. (c) ilgisiz bir ortalama adımı uyduruyor.
Aimlops Ml Cicd PipelinesZorluk 1
Bir ML CI/CD pipeline'ında 'canary training run' nedir?
- aTam ölçekli eğitim işine geçmeden önce pipeline hatalarını yakalamak için önce çalıştırılan, hızlı ve küçük ölçekli bir eğitim işi (daha az epoch veya veri örneği).✓
- bCanlı trafiğin küçük bir yüzdesini yeni bir model versiyonuna yönlendiren bir production deploy stratejisi, hata oranları ve latency sabit bir gözlem penceresi boyunca kabul edilebilir sınırlarda kaldıktan sonra bu yüzdeyi kademeli olarak artırır.
- cGelen her yeni kayıt üzerinde modeli sürekli yeniden eğiten bir arka plan işi.
- dEğitim pipeline'ına yapılan değişiklikleri merge etmeden önce yapılan manuel kod incelemesi adımı.
Açıklama:Canary training run, gerçek işe tam compute harcamadan önce bozuk config'leri, çöken kodu veya bozuk veriyi erken açığa çıkaran, eğitim pipeline'ının ucuz bir kuru-çalıştırmasıdır (küçük veri alt kümesi, daha az adım). (b) canary deployment'ı anlatır, farklı bir kavram. (c) sürekli/online eğitimi anlatır. (d) kod incelemesini anlatır, eğitim run'larıyla ilgisizdir.
Aimlops Ml Cicd PipelinesZorluk 1
Bir ML CI/CD pipeline'ı, eğitim aşamasından önce genellikle neden bir veri şema doğrulama adımı içerir?
- aEğitim başlamadan önce eğitim veri setindeki yanlış etiketleri otomatik düzeltmek için, hangi satırların üzerine yazılacağına ayrı bir etiketleme modelinden hesaplanan bir güven skoruna göre karar vererek.
- bSütun tiplerindeki, eksik sütunlardaki veya shape uyuşmazlıklarındaki beklenmedik değişiklikleri, eğitimi sessizce bozmadan veya yanlılık katmadan önce yakalamak için.✓
- cEğitim sırasında daha az disk alanı kaplasın diye ham veri setini sıkıştırmak için.
- dVeri seti çok küçük olduğunda sentetik eğitim örnekleri üretmek için.
Açıklama:Şema doğrulama, gelen verinin yapısını (sütun adları, tipler, aralıklar) beklenen bir kontrata karşı kontrol eder, böylece sessiz bir upstream değişiklik eğitimi bozmaz veya yanıltıcı bir model üretmez. (a), (c) ve (d) etiket düzeltmeyi, sıkıştırmayı ve veri artırmayı anlatır — bunların hiçbiri şema doğrulamanın yaptığı şey değildir.