Örnek sorular
Fine Tuning AdaptationZorluk 1
Pratikte bir dil modelini fine-tune etmek ne yapar?
- aAğırlıkları ek etiketli örneklerle güncellenir, böylece çıktılar o verideki örüntülere kayar✓
- bModele, bir yanıt oluştururken sorgulayabileceği canlı, talep üzerine harici bir veritabanı erişimi kazandırır
- cModelin tokenizer'ını değiştirerek eskisinden daha uzun girdi belgelerini işleyebilmesini sağlar
- dModelin context window'unu kalıcı olarak büyüterek her isteğe daha fazla metin sığdırır
Açıklama:Fine-tuning ek eğitimdir: model parametreleri etiketli veri üzerinde güncellenir ve davranış o örneklere doğru kayar. Yanıt anında harici veri sorgulamak RAG'ın işidir (b), tokenizer değişimi olağan fine-tuning'in parçası değildir (c), context window ise mimari/serving ayarıdır, fine-tuning ile büyümez (d).
Fine Tuning AdaptationZorluk 2
Bir destek botu, model eğitim verisindeki ürün dokümanları güncel olmadığı için yanlış cevaplar veriyor ve dokümanlar haftalık değişiyor. Ekip, modeli güncel dokümanlarla fine-tune etmeyi tartışıyor. Daha iyi ilk adım nedir?
- aEn güncel dokümanlarla haftalık fine-tune yapmak, böylece model her zaman güncel bilgiyi ağırlıklarına tamamen gömer
- bBüyük bir geçmiş doküman arşiviyle bir kez fine-tune yapmak, böylece model ürünü derinlemesine öğrenir
- cBilgi sık değiştiği için retrieval (RAG) kullanarak güncel dokümanları yanıt anında prompt'a çekmek✓
- dModelin bilgileri daha çok biçimde ezberlemesi için dokümanların parafraz edilmiş hallerini fine-tune etmek
Açıklama:Altta yatan bilgi sık değiştiğinde retrieval, kaynak dokümanlar sorgu anında taze çekildiği için yeniden eğitime gerek kalmadan cevapları güncel tutar. Fine-tuning ise belirli bir andaki örüntüleri ağırlıklara gömer (a, b, d), bu yüzden hızlı değişen gerçekler için zayıf bir seçimdir ve doğruluğu korumak için sürekli yeniden eğitim gerektirir.
Fine Tuning AdaptationZorluk 2
Bir ekip, modelin girdi ne olursa olsun her zaman sabit bir tonda ve sabit bölüm sırasıyla belirli bir JSON benzeri rapor yapısı üretmesini istiyor. Talimat ve örneklerle prompt yazmak hâlâ tutarsız yapı üretiyor. Bu ihtiyaca en uygun yaklaşım hangisi?
- aModelin yapıyı kopyalayabileceği daha fazla bağlam olsun diye prompt'a daha fazla retrieval belgesi eklemek
- bBu bir davranış/format problemi olduğu için girdi ile istenen tam çıktı yapısını eşleştiren birçok örnekle fine-tune yapmak✓
- cModel daha fazla çıktı çeşidi denesin ve sonunda formata uysun diye temperature'ı yükseltmek
- dDaha büyük modeller biçimlendirme talimatlarına doğal olarak daha iyi uyar diye daha büyük genel amaçlı bir modele geçmek
Açıklama:Sabit bir çıktı formatını tutarlı şekilde üretmek bir davranış örüntüsüdür ve girdi/çıktı çiftleriyle fine-tuning tam olarak bunu öğretir. Retrieval bilgi ekler, formatlama disiplini eklemez (a); temperature yükseltmek rastgeleliği artırır ve tutarlılığa ters çalışır (c); talimat ve örnekler zaten başarısız olduysa model boyutu tek başına formata uyumu garanti etmez (d).
Fine Tuning AdaptationZorluk 1
Fine-tuning'in genellikle GÜVENİLİR ŞEKİLDE başaramadığı şey aşağıdakilerden hangisidir?
- aModele zaman içinde birçok farklı türde girdi genelinde tutarlı bir yanıt stili veya tonu öğretmek
- bModele dar kapsamlı bir görevde belirli bir çıktı formatını öğretmek
- cModelin tekrarlayan, iyi tanımlı bir görev örüntüsünü nasıl ele aldığını ayarlamak
- dModelin ihtiyaç anında doğru şekilde hatırlayabileceği yeni gerçek bilgileri güvenilir şekilde eklemek✓
Açıklama:Fine-tuning, tekrarlayan örüntülerde davranışı, stili ve formatı şekillendirmede iyidir (a, b, c) ama belirli gerçekleri ekleyip sonra güvenilir şekilde hatırlatmak için sağlam bir yol değildir, çünkü model gerçekleri bir veritabanı gibi saklamaz; sadece çıktı eğilimlerini kaydırır. Belirli gerçeklere dayalı cevaplar için retrieval daha güvenilir bir yoldur.
Fine Tuning AdaptationZorluk 2
Bir ürün yöneticisi şöyle diyor: "Modelimiz uydurma istatistikler halüsinasyon olarak üretiyor. Doğru verimizle fine-tune edelim ki halüsinasyon yapmayı bıraksın." AI engineer olarak en doğru yanıt nedir?
- aTamamen katılmak, çünkü doğru veriyle fine-tune etmek her halüsinasyon sorunu için her zaman eksiksiz, standart çözümdür
- bKatılmamak, çünkü fine-tuning modelin cevaplarını ifade etme veya yapılandırma biçimini asla etkilemez
- cFine-tuning'in gerçeklerden çok stil ve formatı şekillendirdiğini, bu yüzden retrieval tabanlı temellendirmenin halüsinasyonu daha doğrudan ele aldığını açıklamak✓
- dFine-tuning'i tamamen atlamayı ve rastgeleliği azaltmak için yalnızca modelin temperature'ını artırmayı önermek
Açıklama:Fine-tuning bazı kötü ifade örüntülerini azaltabilir ama modele hangi gerçeklerin doğru olduğunu güvenilir şekilde öğretmez, bu yüzden halüsinasyon için güvenilir bir çözüm değildir; cevapları retrieval ile kaynağa dayandırmak ve doğrulama adımları eklemek uydurma gerçekleri daha doğrudan ele alır. a şıkkı fine-tuning'in çözdüğünü abartıyor, b hiçbir etkisini reddederek aşırıya kaçıyor, d ise temperature'ı (rastgelelik kontrolü) gerçeğe dayalı temellendirmeyle karıştırıyor.
Fine Tuning AdaptationZorluk 1
Aşağıdakilerden hangisi supervised fine-tuning (SFT) eğitim verisinin tipik görünümüyle en çok örtüşür?
{"input": "Bu destek talebini tek cümlede özetle.", "output": "Müşteri geç teslimat nedeniyle iade talep ediyor."}
- aİstenen davranışı gösteren eşleştirilmiş girdi/çıktı örnekleri, modeli bu eşlemeyi üretmesi için eğitmek amacıyla kullanılır✓
- bSorgu anında benzerlik araması için embed edilip saklanacak belgeler listesi
- cHerhangi bir model eğitim adımı olmadan doğrudan üretimde A/B test edilecek sistem prompt varyasyonları kümesi
- dYalnızca üretim sonrası modelin çıktı formatını doğrulamak için kullanılan bir şema tanımı
Açıklama:SFT verisi tam olarak budur: girdi, istenen çıktıyla eşleştirilir ve eğitim, model benzer girdiler için benzer çıktılar üretme eğiliminde olsun diye ağırlıkları ayarlar. Benzerlik araması için belge saklamak (b) embedding/retrieval'i tanımlar, eğitim verisini değil; prompt A/B testi (c) ve çıktı doğrulama şeması (d) modelin ağırlıklarını hiç güncellemez.