Örnek sorular
Aimlops Deployment Strategies MlZorluk 1
Bir 'canary deployment', normal uygulama kodu için yapılan generic canary deployment'a kıyasla bir ML model release'i için özel olarak ne anlama gelir?
- aYalnızca serving container'ının başladığını ve temel bir health check'ten geçtiğini kontrol eder, tıpkı diğer servislerde olduğu gibi.
- bCanlı trafiğin küçük bir yüzdesi yeni model sürümüne yönlendirilirken yalnızca altyapı sağlığı değil, model-özgü sinyaller (tahmin dağılımı, iş metriği, hata oranı) izlenir.✓
- cİki özdeş production ortamı yan yana çalışır ve tüm trafik anında yenisine geçirilir.
- dYeni model sürümü yalnızca çevrimdışı statik bir test setine karşı değerlendirilir ve asla canlı trafik almaz, bu yüzden modelin gerçek production koşullarında nasıl davrandığı hakkında hiçbir bilgi sağlamaz.
Açıklama:Model canary'si genel canary mekaniğini (küçük canlı trafik dilimi) yeniden kullanır ama izlenen sinyaller model-özgüdür: tahmin/etiket dağılımı kaymaları ve iş metrikleri, yalnızca CPU/bellek ya da HTTP durumu değil. (a) yalnızca genel altyapı health check'lerini anlatır. (c) blue-green'i tanımlar. (d) canlı trafiğe hiç dokunmadığı için canary bile sayılmayan çevrimdışı değerlendirmeyi anlatır.
Aimlops Deployment Strategies MlZorluk 1
Bir ML modeli için 'shadow deployment' (shadow mode) nedir?
- aYeni model canlı trafiğin küçük bir yüzdesini alır ve yanıtı doğrudan o kullanıcılara döndürülür.
- bİki tam production ortamı anında değiştirilir ve tüm trafik bir kerede yenisine geçer.
- cEski modeli çalıştıran instance'lar, yeni modeli çalıştıran instance'lar tarafından kademeli, birkaçı birden olacak şekilde değiştirilir.
- dYeni model, canlı production isteklerinin bir kopyası üzerinde paralel çalışır; tahminleri karşılaştırma için loglanır ama kullanıcıya gerçekte servis edilen yanıt her zaman mevcut production modelinden gelir.✓
Açıklama:Shadow mode'da aday model, saf çevrimdışı karşılaştırma için gerçek trafiğin (bir kopyasını) alır; kullanıcının gördüğü şeyi asla etkilemez, bu yüzden çıktısından kullanıcıya doğrudan hiçbir risk yoktur. (a) yeni modelin çıktısının gerçekten servis edildiği canary'yi anlatır. (b) blue-green'i anlatır. (c) rolling update'i anlatır.
Aimlops Deployment Strategies MlZorluk 2
ML sistemlerinde blue-green deployment, uygulama kodunun genel blue-green cutover'ının ötesinde ekstra bir gereksinime sahiptir. Bu nedir?
- aModel artifact'ı ve onunla eşleşen preprocessing/feature-transformation kodu birlikte atomik olarak değiştirilmelidir; böylece serving hiçbir zaman yeni bir modeli uyumsuz (eski) feature mantığıyla eşleştirmez.✓
- bYalnızca model ağırlıkları değiştirilir; preprocessing kodunun tüm model sürümleri boyunca sonsuza dek değişmeden kalması beklenir.
- cML için blue-green, modelin yalnızca CPU tabanlı altyapıda deploy edilebileceği, asla GPU'da olamayacağı anlamına gelir.
- dML için blue-green, serving ortamıyla ilgisi olmayan, training veri setinin iki ayrı kopyasının tutulmasını gerektirir; bu yüzden salt veri-yönetimi meselesidir ve cutover'ın kendisiyle hiç ilgisi yoktur.
Açıklama:Bir model ve onun eğitildiği feature/preprocessing kodu tek bir bağlı birim oluşturur; modeli, eşleşen preprocessing'i geçirmeden geçirmek train-serve skew riski taşır, bu yüzden ikisi de atomik olarak değişmelidir. (b) preprocessing'in asla değişmediğini yanlış varsayar. (c) ve (d), blue-green'in ML için gerçekte gerektirdiğiyle ilgisiz kısıtlamalar tanımlar.
Aimlops Deployment Strategies MlZorluk 1
Temel düzeyde, bir model A/B testi nedir?
- aDeterministik olup olmadığını kontrol etmek için aynı modeli aynı girdi üzerinde iki kez çalıştırmak.
- bDeploy öncesinde bir modelin training set ile validation set üzerindeki accuracy'sini karşılaştırmak.
- cKullanıcıları veya trafiği rastgele ayrık gruplara bölmek, her grubu farklı bir model sürümüyle servis etmek ve gruplar arasında bir sonuç metriğini karşılaştırmak.✓
- dYalnızca ağ gecikmesi farklarını ölçmek için bir modeli iki farklı bulut bölgesine deploy etmek.
Açıklama:Modeller için A/B testi, gerçek trafiği iki (veya daha fazla) model varyantına rastgele atar ve production'da hangisinin daha iyi performans gösterdiğine karar vermek için gruplar arasında tanımlı bir sonuç metriğini karşılaştırır. (a) varyantları karşılaştırmakla ilgisiz bir determinizm kontrolünü anlatır. (b) çevrimdışı train/validation değerlendirmesini anlatır. (d) bir model karşılaştırması değil, bir latency benchmark'ını anlatır.
Aimlops Deployment Strategies MlZorluk 2
ML model deployment bağlamında bir 'rollback trigger' nedir?
- aBir geliştiricinin deployment'tan günler sonra gelecekteki bir code review talep etmek için açtığı manuel bir ticket.
- bİzlenen bir metriğin bir eşiği aşması gibi önceden tanımlanmış bir koşul; bu koşul serving sistemini otomatik veya yarı-otomatik olarak bilinen en son sağlıklı model sürümüne geri döndürür.✓
- cBir kez ayarlandığında tüm gelecekteki deployment'ları kalıcı olarak devre dışı bırakan bir konfigürasyon flag'i.
- dMevcut performanstan bağımsız olarak modeli sıfırdan yeniden eğiten zamanlanmış bir gece işi; izlenen herhangi bir metrik veya eşikle hiçbir bağlantısı yoktur.
Açıklama:Bir rollback trigger, somut, izlenen bir koşulu (hata oranı sıçraması, latency regresyonu, drift alarmı vb.) otomatik ya da onay gerektiren bir geri alma aksiyonuna bağlar; böylece bozulmuş davranış uzun süre sürmez. (a) otomasyonu olmayan ilgisiz bir manuel süreci anlatır. (c) ve (d) kötü bir deployment'ı geri almayan ilgisiz mekanizmalardır.
Aimlops Deployment Strategies MlZorluk 1
'Multi-model serving' (veya model routing) ne anlama gelir?
- aBirden fazla model sürümü aynı anda tek bir serving katmanının arkasında çalışır ve bir router, gelen her isteği trafik ağırlığı, kullanıcı segmenti veya request tipi gibi kurallara göre uygun sürüme yönlendirir.✓
- bProduction'da her zaman yalnızca bir model sürümü bulunabilir ve yeni bir sürümün serving'e devam edebilmesi için onu tamamen değiştirmesi gerekir.
- cTek bir model, sadece yükü eşit paylaşmak için hiçbir sürüm farkı olmadan birden fazla özdeş replica'ya kopyalanır.
- dToplam training süresini azaltmak için aynı GPU'da birden fazla modeli eşzamanlı eğitmek.
Açıklama:Multi-model serving/routing, özellikle birden fazla farklı model sürümünü (veya varyantını) aynı anda servis etmek ve tanımlı kurallara göre request'leri aralarında yönlendirmekle ilgilidir. (b) tam tersini, yalnızca tek-sürümlü serving'i anlatır. (c) sürümler arası hiçbir yönlendirme olmadan tek özdeş modelin sade yük dengeli replicalarını anlatır. (d) serving ile ilgisi olmayan bir training-zamanı kavramını anlatır.