Örnek sorular
Pf Metrics Percentiles AnalysisZorluk 1
Bir performans test raporunda p95 response time genellikle neden ortalama (mean) response time'dan daha kullanışlıdır?
- aÇünkü p95 değeri matematiksel olarak her zaman ortalamadan küçüktür
- bÇünkü az sayıda çok yavaş istek ortalamayı yukarı ya da aşağı çekebilir ve en yavaş kullanıcıların gerçekte nasıl bir deneyim yaşadığını gizleyebilir; p95 ise doğrudan kuyruktaki bir değeri raporlar✓
- cÇünkü aritmetik ortalama hesaplamak, raporlama aracının tüm test süresi boyunca her bir ham örneği bellekte sıralı tutmasını gerektirir; bu, kompakt bir histogram yapısından percentile türetmekten çok daha fazla CPU ve bellek tüketir
- dÇünkü ortalama yalnızca örneklem sayısı çift olduğunda hesaplanabilir, tek sayılı test koşularının bunun yerine percentile raporlaması gerekir
Açıklama:Az sayıda çok yavaş (ya da çok hızlı) aykırı değer, aritmetik ortalamayı çarpıtabilir ve kullanıcıların yavaş kesiminin deneyiminin ne kadar kötü olduğunu gizleyebilir. p95 kuyruğa odaklı bir değerdir: isteklerin %95'inin altında kaldığı response time'ı doğrudan gösterir, bu da gerçek bir kullanıcının 'normalin en kötüsü' deneyimine daha yakındır.
Pf Metrics Percentiles AnalysisZorluk 1
Bir response-time dağılımının p50 (50. persentil) değeri neyi ifade eder?
- aTest sırasında kaydedilen en yavaş response time'ı
- bEn hızlı ve en yavaş response time'ların ortalamasını
- cToplam örneklem büyüklüğünden bağımsız olarak tam 50 isteğin aştığı response time değerini
- dMedyanı: kaydedilen response time'ların %50'sinin altında kaldığı değeri✓
Açıklama:p50, dağılımın medyanıdır — gözlemlenen response time'ların yarısının bu değerin altında, yarısının üzerinde kaldığı noktadır. Sabit bir 50 istek sayısına bağlı değildir; toplam örneklem büyüklüğü ne olursa olsun her zaman %50'yi temsil eder.
Pf Metrics Percentiles AnalysisZorluk 1
Bir load test raporunda bir endpoint için p99 = 2400 ms gösteriliyorsa bu değer ne anlama gelir?
- aKaydedilen isteklerin %99'u 2400 ms veya daha kısa sürede tamamlandı, %1'i ise daha uzun sürdü✓
- bİsteklerin %99'u başarısız oldu, yalnızca %1'i 2400 ms içinde başarılı oldu
- cTest, durmadan önce 2400 ms'nin %99'u kadar süre çalıştı
- d2400 ms, test sırasında gönderilen 99. isteğin tam response time'ıdır
Açıklama:p99 = 2400 ms, kaydedilen tüm response time'lar sıralandığında bunların %99'unun 2400 ms veya altında kaldığı, en yavaş %1'lik dilimin ise bunun üzerinde olduğu anlamına gelir. Hata oranıyla, testin toplam süresiyle ya da belirli bir isteğin sıra numarasıyla ilgisi yoktur.
Pf Metrics Percentiles AnalysisZorluk 2
Büyük ölçekli bir production API'sini değerlendirirken performans mühendisleri neden çoğu zaman p50'den çok p99'u önemser?
- aÇünkü p99 her zaman p50'den daha kolay hesaplanır
- bÇünkü p99 her zaman kaydedilen maksimum response time'a eşittir
- cÇünkü yüksek istek hacimlerinde 'nadir' görünen %1'lik kuyruk bile gerçekte çok sayıda kullanıcının yavaş yanıt deneyimlemesi anlamına gelir✓
- dÇünkü izleme araçları tek bir test koşusunda 1000'den fazla istek alan endpoint'ler için p50 hesaplayamaz, bu yüzden sessizce yalnızca maksimum değeri raporlamaya geri döner
Açıklama:Ölçek büyüdükçe yüzdeler gerçek kullanıcı sayılarına dönüşür: bir API 1.000.000 istek karşılıyorsa p99'un arkasındaki %1, 10.000 yavaş istek demektir — göz ardı edilebilir bir uç durum değildir. p50 ise sadece dağılımın 'tipik' orta noktasını yansıttığı için bunu tamamen gizler.
Pf Metrics Percentiles AnalysisZorluk 1
Genel istatistik terimleriyle percentile nedir?
- aMilisaniye veya saniye gibi sabit bir zaman birimi
- bBir veri setindeki gözlemlerin belirli bir yüzdesinin altında kaldığı değer✓
- cBir veri setinin varyansının kareköküdür
- dBir veri setinde belirli bir değerin kaç kez tekrarlandığının sayısıdır
Açıklama:Percentile, bir veri setindeki gözlemlerin belirli bir yüzdesinin altında kaldığı değeri gösteren istatistiksel bir ölçüttür. p95, veri noktalarının %95'inin altında kaldığı değerdir.
Pf Metrics Percentiles AnalysisZorluk 2
Bir ekip bir endpoint için 'ortalama response time: 220 ms' raporluyor ve performansı sağlıklı ilan ediyor. Daha sonra isteklerin aslında %60'ının 80 ms'de, kalan %40'ının ise 450 ms'de tamamlandığını keşfediyorlar (örneğin cache hit vs cache miss kaynaklı bimodal bir dağılım). Bu senaryo neyi gösterir?
- aOrtalamanın yanlış hesaplandığını ve farklı bir formülle yeniden hesaplanması gerektiğini
- bBimodal dağılımların her zaman load test aracında bir bug olduğu anlamına geldiğini
- cTek bir ortalama sayının, birbirinden çok farklı iki istek alt-popülasyonunu gizleyebileceğini ve yanıltıcı biçimde 'orta düzey' bir tablo çizebileceğini✓
- dCache miss'lerin, gerçek production trafiğini değil anormal bir durumu temsil ettiği için performans test sonuçlarından her zaman filtrelenip tamamen hariç tutulması gerektiğini
Açıklama:Ortalama (220 ms), iki kümenin (80 ms ve 450 ms) arasında bir yerde durur ve hiçbirini gerçekten temsil etmez — hiçbir tekil istek fiilen ~220 ms sürmez. Bu, bimodal bir dağılımın ortalamasını almanın klasik tuzağıdır: özet sayı orta düzey görünürken trafiğin neredeyse yarısı aslında yavaştır.