Örnek sorular
Ml Experimentation ReproducibilityZorluk 1
Bir deneyin sonucunun daha sonra tekrar üretilebilmesi için genellikle kaydedilmesi gereken temel bilgi hangisidir?
- aSadece nihai accuracy sayısı, çünkü en önemli olan odur
- bÇıktı görselleştirmeleri, çünkü ne olduğunu gösterirler
- cDeneyi çalıştıran kişinin adı
- dKod versiyonu, veri versiyonu ve hyperparametre değerleri✓
Açıklama:Bir sonucu tekrar üretmek, onu tam olarak neyin ürettiğini bilmeyi gerektirir: hangi kod, hangi veri, hangi ayarlar (d). Tek başına nihai bir sayı (a) nedenine geri izlenemez. Görselleştirmeler (b) yapılandırmayı değil bir sonucu betimler. Deneyi kimin çalıştırdığı (c), koşunun yeniden üretilip üretilemeyeceğiyle ilgisizdir.
Ml Experimentation ReproducibilityZorluk 1
Aynı veri seti üzerinde iki kez çalıştırılan tamamen aynı eğitim kodu neden biraz farklı bir model üretebilir?
- aInitialization ya da shuffling gibi kaynaklar, seed sabitlenmezse koşular arası farklılaşır✓
- bVeri seti iki koşu arasında sessizce anlamını değiştirir
- cModel eğitimi her framework'te varsayılan olarak deterministiktir, bu yüzden bu aslında hiç olmamalıdır
- dMetrik hesaplamasının kendisi koşular arasında her zaman değişir
Açıklama:Rastgelelik bir seed ile sabitlenmediği sürece, ağırlık başlatma veya veri karıştırma sırası gibi şeyler koşudan koşuya farklılaşabilir ve sonucu değiştirebilir (a). Veri setinin anlamı (b) kendiliğinden değişmez. Eğitim çoğu kurulumda varsayılan olarak deterministik değildir (c yanlış). Metrik hesaplama kodu sabittir ve rastgele değişmez (d yanlış).
Ml Experimentation ReproducibilityZorluk 1
Bir deney için 'random seed sabitlemek' neyi başarmayı amaçlar?
- aValidation setine olan ihtiyacı tamamen ortadan kaldırır
- bTamamen farklı donanımlarda özdeş sonuçlar garanti eder
- cRastgele işlemlerin (shuffling, initialization) her koşuda aynı sırayı takip etmesini sağlar✓
- dModelin overfit olmasını kalıcı olarak engeller
Açıklama:Sabit bir seed, sözde-rastgele işlemlerin her koşuda aynı diziyi üretmesini zorlar, bu da tekrarlanabilirliği artırır (tam garanti etmese de) (c). Validation setleriyle (a) ya da overfitting'le (d) ilgisi yoktur. Ayrıca farklı donanımlar arasında özdeş sonuçları garanti etmez, çünkü donanım seviyesindeki sayısal davranış yine de farklılaşabilir (b yanlış).
Ml Experimentation ReproducibilityZorluk 1
Bir junior mühendis, bir hafta sonra aynı görünen bir kod dosyasını kullanarak eğitim scriptini tekrar çalıştırıyor ama belirgin şekilde farklı bir sonuç alıyor. Önce kontrol edilmesi gereken en olası temel açıklama nedir?
- aProgramlama dilinin kendisi aritmetik kurallarını değiştirmiştir
- bKod dosyası aynı görünse de, veri, kütüphane versiyonu ya da seed farklı olabilir✓
- cMakine öğrenmesi modelleri tasarım gereği her seferinde farklı bir sonuç vermek zorundadır
- dKullanılan metrik ilk seferde yanlış hesaplanmış olmalı
Açıklama:Bir kod dosyasının 'aynı görünmesi', arkasındaki verinin, kütüphane versiyonlarının ya da seed'in değişmediğini garanti etmez — bunların herhangi biri sessizce kayabilir (b). Diller aritmetik kurallarını sessizce değiştirmez (a). ML eğitimi tasarım gereği tekrarlanamaz olmak zorunda değildir (c). Doğrudan 'ilk metrik yanlıştı' sonucuna atlamak (d), daha olası nedenleri önce kontrol etmeyi atlar.
Ml Experimentation ReproducibilityZorluk 1
Bir ML deneyinin tam tekrarlanabilirliğinin, tipik bir deterministik yazılım build'ini tekrarlamaktan daha zor olmasının temel bir nedeni nedir?
- aML kodu normal kodun tekrarlanabildiği gibi versiyon kontrolüne alınamaz
- bAccuracy gibi metrikler iki ayrı koşu arasında asla karşılaştırılabilir değildir
- cProgramlama dilleri random seed sabitlemeyi desteklemez
- dSonuçlar veri snapshot'ına, seed'e ve ortama bağlıdır; bunların biri sessizce kayabilir✓
Açıklama:Kodun ötesinde, bir ML sonucu ayrıca veri snapshot'ına, seed'e ve ortama bağlıdır — sıradan bir yazılım build'inde olmayan birkaç ekstra hareketli parça (d). ML kodu diğer kodlar gibi versiyon kontrolüne alınabilir (a yanlış). Kurulum kontrol altındayken metrikler karşılaştırılabilir kalır (b yanlış). Seed sabitlemek yaygın, desteklenen bir pratiktir (c yanlış).
Ml Experimentation ReproducibilityZorluk 1
Deney takibi bağlamında 'veri versiyonu' ile ne kastedilir?
- aEğitim scriptini yazmak için kullanılan programlama dili versiyonu
- bBelirli bir sonucu üretmek için kullanılan tam veri snapshot'ı✓
- cVeri seti dosyasının kaç kez yeniden adlandırıldığı
- dVeri setinin depolandığı klasör yolu
Açıklama:Veri versiyonu, verinin tam olarak hangi snapshot'ının kullanıldığını tanımlar, böylece aynı veri daha sonra tekrar kullanılabilir (b). Dil versiyonuyla (a), yeniden adlandırma sayısıyla (c) ya da bir depolama yoluyla (d) ilgisi yoktur — bir yol zaman içinde farklı içeriğe işaret edebilir, ki versiyonlamanın çözdüğü sorun tam olarak budur.