Örnek sorular
Llm FundamentalsZorluk 1
Büyük dil modellerinde 'token' nedir?
- aModelin sinir ağı ağırlıkları içinde saklanan ve eğitim sırasında güncellenen bir parametre
- bTek bir İngilizce kelime; her kelime her zaman tam olarak bir token'a karşılık gelir
- cBir kelime, alt-kelime parçası ya da karakter dizisi gibi, tek bir birim olarak işlenen metin parçası✓
- dAPI'nin takip amacıyla her kullanıcı oturumuna atadığı benzersiz kimlik
Açıklama:Token, bir tokenizer'ın metni böldüğü temel birimdir; sözlüğe bağlı olarak tam kelime, kelimenin bir parçası, noktalama işareti hatta tek bir karakter olabilir. Token'lar her zaman tam kelimelerle örtüşmez ve oturum kimliği ya da model ağırlığıyla ilgisi yoktur.
Llm FundamentalsZorluk 2
Bir geliştirici, aynı cümlenin İngilizce yazıldığında mı yoksa bileşik/eklemeli kelimeleri çok olan bir dilde yazıldığında mı farklı sayıda token ürettiğini fark ediyor. Bunu en iyi ne açıklar?
- aTüm tokenizer'lar, dilden ya da sözlükten bağımsız olarak her kelimeye tam bir token garanti eder
- bTokenizer'lar sözlüğünden öğrendiği örüntülere göre metni böler; bu yüzden token sayısı dile göre değişebilir✓
- cToken sayısı yalnızca toplam karakter sayısına bağlıdır, tokenizer sözlük tasarımıyla ilgisi yoktur
- dBu tür bir davranış her zaman bir hatadır ve derhal model sağlayıcısına bildirilmelidir
Açıklama:Tokenizer sözlüğü eğitim verisi istatistiklerinden oluşturulur; bileşik kelimesi çok olan ya da sözlükte az geçen diller genellikle daha fazla ve daha küçük token'a bölünür. Bu beklenen bir tokenizer davranışıdır, hata ya da salt karakter-sayısı fonksiyonu değildir.
Llm FundamentalsZorluk 1
Bir modelin 'context window'u nedir?
- aTek bir kullanıcı hesabının günde yapabileceği konuşma turu sayısı
- bAPI altyapısının aynı anda karşılayabileceği paralel istek sayısı
- cModelin özgün eğitim aşaması boyunca ayrılmış olan toplam GPU belleği miktarı
- dModelin tek bir istekte, girdi artı çıktı olarak, dikkate alabildiği azami token sayısı✓
Açıklama:Context window, modelin tek bir çağrıda birlikte işleyebildiği token (prompt artı üretilen çıktı) sayısına konan katı bir sınırdır; bu sınırı aşan eski ya da fazla içerik düşürülmek zorundadır. Eşzamanlı istek sayısı, eğitim zamanı GPU belleği ya da günlük kullanım kotasıyla ilgisi yoktur.
Llm FundamentalsZorluk 2
Bir uygulama uzun bir belge artı bir soruyu modele gönderiyor ve toplam token sayısı modelin context window'unu aşıyor. En olası sonuç nedir?
- aModel, yanıtlamadan önce girdiyi arka planda otomatik olarak özetler
- bModel her şeyi sorunsuzca normal şekilde işler, yalnızca yanıt süresi biraz uzar
- cAPI, yalnızca o istek için context window sınırını sessizce yükseltir
- dİstek başarısız olur ya da girdi kırpılır ve anlamlı içerik kaybolabilir✓
Açıklama:Context window aşıldığında genellikle hata yanıtı döner ya da girdi kırpılmaya zorlanır; bu da belgenin veya sorunun önemli kısımlarının sessizce kaybolmasına neden olabilir. Context window istek başına sabit bir kısıttır; otomatik olarak özetlenmez ya da anlık genişletilmez.
Llm FundamentalsZorluk 2
Bir geliştirici, modelin büyük bir context window'a sahip olması nedeniyle, tamamen ayrı ve yeni bir oturumda başlayan bir konuşmadaki detayları 'hatırlayacağını' varsayıyor. Bu varsayım genellikle neden yanlıştır?
- aContext window'lar aynı modeli kullanan tüm kullanıcılar ve tüm hesaplar arasında paylaşılır
- bBüyük context window'lar varsayılan olarak kapalıdır ve her yeni oturum için elle etkinleştirilmelidir
- cContext window yalnızca o anki isteğe dahil edilen token'ları kapsar ve ayrı oturumlar arasında kalıcı olmaz✓
- dModel, yanıt vermeden önce geçmiş oturumların tutulduğu dahili bir veritabanını otomatik olarak sorgular
Açıklama:Büyük bir context window sadece tek bir isteğe daha fazla token sığabileceği anlamına gelir; modele geçmiş oturumlara dair yerleşik bir hafıza kazandırmaz. Oturumlar arası süreklilik ancak uygulamanın önceki geçmişi veya retrieval ile getirilen bağlamı açıkça yeniden göndermesiyle sağlanabilir.
Llm FundamentalsZorluk 1
Bir ekip, modelin aynı girdi için mümkün olduğunca hep aynı çıktıyı üretmesini istiyor; çeşitlilikten çok tekrarlanabilirliğe öncelik veriyor. Bu hedefe en uygun decoding yaklaşımı hangisidir?
- aHer adımda en yüksek olasılıklı tek bir sonraki token'ı seçen greedy decoding✓
- bGeniş bir token aralığını keşfetmek için yüksek temperature ile sampling
- cAday havuzunu genişletmek için top-p değerini üst sınırına yakın artırmak
- dHer üretim adımında oldukça geniş bir üst sıradaki token kümesinden rastgele örnekleme yapmak
Açıklama:Greedy decoding her zaman en olasılıklı sonraki token'ı seçtiği için tekrarlı çağrılarda tutarlılığı en üst düzeye çıkarır. Yüksek temperature, geniş top-p ya da geniş bir kümeden rastgele örnekleme ise bilerek çeşitlilik katar ve tekrarlanabilir çıktı hedefine ters düşer.