yoklateknik mülakat
GelişimGeçmiş

AI Engineer Rag Evaluation Mülakat Soruları

75 doğrulanmış AI Engineer Rag Evaluation mülakat sorusu — cevaplarıyla çöz, açıklamalarıyla öğren, gerçek simülasyonda kendini test et.

Gerçek simülasyonu dene →

Örnek sorular

Rag EvaluationZorluk 1
RAG retrieval değerlendirmesinde recall@k neyi ölçer?
  • aGetirilen top-k chunk'lardan alakalı olanların oranı
  • bTop-k'da görünen alakalı chunk'ların oranı✓
  • cSadece en üst sıradaki tek chunk'ın alakalı olup olmadığı
  • dİlk alakalı chunk'ın sıra pozisyonu
Açıklama:Recall@k = (top-k içinde bulunan alakalı chunk sayısı) / (var olan toplam alakalı chunk sayısı); yani tüm alakalı kümenin ne kadarının yakalandığını ölçer (b). Top-k'nın kaçının alakalı olduğu oranı precision@k'dir, recall@k değil (a yanlış). Sadece top-1'e bakmak hit@1'i tanımlar, farklı bir metriktir (c yanlış). İlk alakalı chunk'ın sırası MRR'ın temelidir, recall@k'nin değil (d yanlış).
Rag EvaluationZorluk 1
RAG retrieval değerlendirmesinde precision@k neyi ölçer?
  • aGetirilen k chunk'tan alakalı olanların oranı✓
  • bTüm alakalı chunk'lardan top-k'da getirilenlerin oranı
  • cİlk alakalı chunk'ın sırasının tersi (reciprocal)
  • dTop-k'da herhangi bir alakalı chunk olup olmadığı
Açıklama:Precision@k = (getirilen k chunk içindeki alakalı sayı) / k; yani getirilen kümenin ne kadar 'temiz' olduğunu ölçer (a). Tüm alakalı chunk'ların top-k içinde ne kadarının yakalandığı recall@k'yi tanımlar, precision@k'yi değil (b yanlış). İlk alakalı chunk'ın reciprocal rank'i MRR'ın yapı taşıdır (c yanlış). Top-k'da herhangi bir alakalı chunk olup olmadığına dair evet/hayır hit@k'yi tanımlar (d yanlış).
Rag EvaluationZorluk 2
Bir vector search, bir sorgu için şu sıralı chunk ID listesini döndürüyor:
retrieved = ["d3", "d1", "d7", "d2", "d9"]
relevant = {"d1", "d2", "d5"}  # ground-truth alakalı küme, boyutu 3

Sadece top 2 getirilen öğeyi kullanarak recall@2 kaçtır?
  • a0.33✓
  • b0.67
  • c0.50
  • d1.00
Açıklama:Top-2 = ["d3","d1"]. Sadece d1 alakalı kümede, yani hits = 1. recall@2 = hits / |relevant| = 1/3 ≈ 0.33 (a). d2 ancak 4. sırada göründüğü için top 2 dışında kalır, 2/3 fazla saymaktır (b yanlış). 0.50, k'ya bölmektir (precision@k formülü), alakalı küme boyutuna değil (c yanlış). d5 getirilen listede hiç görünmüyor, dolayısıyla recall hiçbir zaman 1.00'a ulaşmaz (d yanlış).
Rag EvaluationZorluk 2
Aynı kurulumu kullanarak:
retrieved = ["d3", "d1", "d7", "d2", "d9"]
relevant = {"d1", "d2", "d5"}

precision@2 kaçtır?
  • a0.33
  • b0.50✓
  • c1.00
  • d0.20
Açıklama:Top-2 = ["d3","d1"]; bu 2 öğeden 1 tanesi alakalı, yani precision@2 = 1/2 = 0.50 (b). k=2 yerine 3'e (alakalı küme boyutu) bölmek recall@2 verir, precision değil (a yanlış). Şimdiye kadar bulunan doğruysa precision otomatik 1.00 olmaz — hâlâ getirilen 2'den 1 alakalı (c yanlış). 5'e bölmek, değerlendirilen k=2 penceresi dışındaki öğeleri de karıştırır (d yanlış).
Rag EvaluationZorluk 2
Aynı getirilen liste ve alakalı küme:
retrieved = ["d3", "d1", "d7", "d2", "d9"]
relevant = {"d1", "d2", "d5"}

hit@1 kaçtır (top 1 içinde en az bir alakalı chunk varsa 1, yoksa 0)?
  • a1
  • b0.33
  • c0.2
  • d0✓
Açıklama:Top-1 = ["d3"]. d3, {"d1","d2","d5"} kümesinde değil, yani hit@1 = 0 (d). hit@k sorgu başına ikili (binary) bir göstergedir, oran değildir, dolayısıyla 0.33 olamaz (b yanlış). hit@1 sadece top-1 öğeye bakar, tüm sıralamaya değil, bu yüzden sonradan görünmek sayılmaz (c yanlış) ve bu metrikte 'doküman ailesi' bonusu diye bir kavram yoktur (a yanlış).
Rag EvaluationZorluk 1
hit@k, recall@k'den temelde nasıl farklıdır?
  • ahit@k, aynı sorgu için her zaman recall@k'den sayısal olarak büyüktür
  • bhit@k etiketli alakalı küme gerektirir, recall@k gerektirmez
  • chit@k sorgu başına ikilidir; recall@k bir kapsama oranıdır✓
  • dhit@k generation sonrası, recall@k retrieval öncesi hesaplanır
Açıklama:hit@k 'en az bir alakalı chunk getirildi mi?' sorusuna cevap verir (0 ya da 1), recall@k ise 'tüm alakalı chunk'ların ne kadarı getirildi?' sorusuna cevap verir — sürekli bir kapsama ölçüsüdür (c). Hiçbir metrik sistematik olarak diğerinden büyük değildir; veriye bağlıdır (a yanlış). Her iki metrik de hesaplanmak için aynı etiketli alakalı kümeye ihtiyaç duyar (b yanlış). İkisi de generation gerçekleşmeden önce, sadece sıralı listeden hesaplanan retrieval-aşaması metrikleridir (d yanlış).

Uzmanlığa göre

LLM/RAG 450MLOps 450Python 450

Kıdeme göre

AI Engineer JuniorAI Engineer MidAI Engineer Senior

Diğer alanlar

BackendFrontendFullstackDevOps / CloudVeritabanıMobilGüvenlikQA / Test OtomasyonuData EngineerOyun GeliştirmeML Engineer

2025 soruluk AI Engineer bankasında kendini sına.

Mülakata başla