Örnek sorular
Ml Scaling PerformanceZorluk 1
Dağıtık eğitimde 'veri paralelliği' temel düzeyde ne anlama gelir?
- aTek bir modelin katmanlarını birden fazla cihaza bölmek.
- bFarklı makinelerde ilgisiz modeller çalıştırıp tahminlerini ortalamak.
- cEğitim verisini tek bir merkezi veritabanında tutup kayıt kayıt sorgulamak.
- dHer worker'a model kopyası ve veri dilimi verip gradyanları birleştirmek.✓
Açıklama:Veri paralelliği, tam modeli her worker'da çoğaltırken veri setini worker'lar arasında böler; her worker kendi veri diliminde gradyan hesaplar ve bu gradyanlar birleştirilerek (örn. ortalanarak) paylaşılan model güncellenir. Bu, modelin kendisini cihazlar arasında bölmekten farklıdır.
Ml Scaling PerformanceZorluk 1
'Model paralelliği' ne anlama gelir ve genellikle ne zaman gerekir?
- aModelin tamamını her worker'a kopyalayıp tahminleri paralel çalıştırmak.
- bHer epoch öncesinde eğitim verisini rastgele karıştırılmış batch'lere bölmek.
- cBirbiriyle ilgisiz birkaç küçük modeli eğitip en iyisini seçmek.
- dModel parametrelerini, tek cihaza sığmadığında cihazlar arasında bölmek.✓
Açıklama:Model paralelliği, tek bir modelin parametrelerini (örn. katmanlar arasında) birden fazla cihaza böler; böylece tek bir ileri/geri geçişin parçaları farklı cihazlarda çalışır. Model tek bir cihazın belleğine sığmadığında kullanılır; bu, her cihazın tam bir model kopyası tuttuğu veri paralelliğinden farklıdır.
Ml Scaling PerformanceZorluk 1
Model serving bağlamında throughput ve latency arasındaki temel fark nedir?
- aThroughput, birim zamanda işlenen istek sayısıdır; latency, tek bir isteğin süresidir.✓
- bThroughput, tek bir isteğin süresidir; latency, birim zamanda işlenen istek sayısıdır.
- cThroughput ve latency aynı şeyi farklı birimlerle ölçer.
- dThroughput yalnızca eğitim işlerine, latency yalnızca depolama sistemlerine uygulanır.
Açıklama:Throughput, tamamlanan işin oranını ölçer (örn. saniyedeki istek sayısı); latency ise tek bir isteğin gönderilmesinden yanıt alınmasına kadar geçen süreyi ölçer. Birini iyileştirmek diğerini otomatik olarak iyileştirmez, ikisi genellikle gerilim içindedir (batching'e bakınız).
Ml Scaling PerformanceZorluk 1
Bir model serving sisteminde 'caching' (önbellekleme) temelde neyi sağlar?
- aHer girdi için tahmin doğruluğunu kalıcı olarak artırır.
- bServing sisteminin izlenmesine olan ihtiyacı ortadan kaldırır.
- cÖnceki sonuçları saklar; tekrarlar yeniden hesaplanmaz.✓
- dTamamen yeni istekler için bile anında yanıt garanti eder.
Açıklama:Caching, önceki hesaplamaların sonuçlarını (örn. belirli bir girdi için tahmini) saklar; böylece aynı ya da benzer bir istek tekrar geldiğinde, hesaplamayı yeniden çalıştırmak yerine saklanan sonuç yeniden kullanılabilir. Tekrarlanan girdilerde yardımcı olur ama gerçekten yeni istekleri hızlandırmaz ve model doğruluğuna etkisi yoktur.
Ml Scaling PerformanceZorluk 1
Senkron dağıtık eğitim bağlamında 'straggler' (geride kalan worker) nedir?
- aHesaplamasını erken bitirdiği için işten çıkarılan bir worker.
- bYanlışlıkla iki worker arasında kopyalanan bir veri batch'i.
- cBir çökmeden sonra doğru yüklenemeyen bir checkpoint.
- dDiğerlerinden çok daha yavaş olan ve o adımın güncellemesini geciktiren bir worker.✓
Açıklama:Senkron dağıtık eğitimde, paylaşılan güncelleme gerçekleşmeden önce tüm worker'ların bir adımı bitirmesi gerekir. Straggler, belirli bir adımda alışılmadık derecede yavaş olan (örn. yavaş bir makine ya da dengesiz veri nedeniyle) bir worker'dır; bu yüzden diğer tüm worker'lar onu beklerken boşta kalır ve genel eğitim hızı düşer.
Ml Scaling PerformanceZorluk 1
Bir ekip, inference isteklerini tek tek işlediklerinde hızlandırıcılarının (GPU/benzeri donanım) istekler arasında çoğunlukla boşta kaldığını ve genel saniye başına istek sayısının düşük olduğunu fark ediyor. Birkaç isteği bir batch'te gruplamanın neden yardımcı olacağının en temel açıklaması nedir?
- aHer bir tahmini daha doğru hale getirir.
- bModelin hiç yeniden eğitilmesine gerek kalmamasını sağlar.
- cİstemci-sunucu arasındaki ağ gecikmesini tamamen ortadan kaldırır.
- dHızlandırıcıyı boşta bırakmak yerine meşgul tutar.✓
Açıklama:İstekleri tek tek işlemek, paralel hesaplama yapabilen donanımı yetersiz kullanır çünkü istekler arasında boşta zaman geçirir. İstekleri bir batch'te gruplamak, donanımın birim zamanda daha fazla faydalı iş yapmasını sağlar ve throughput'u artırır — ancak batch dolana kadar beklemek her bir isteğin gecikmesini biraz artırabilir.