Chapter 18 — A/B Testlash va Iterativ Yaxshilash

Prompt sifatini oshirishning eng ishonchli usuli — bir martalik "hislar asosida" o'zgartirish emas, balki tizimli A/B testlash va iterativ yaxshilash jarayoni.

---

Simple Explanation

A/B testlash — bitta promptning ikki (yoki undan ko'p) turli versiyasini bir xil vazifalar to'plamida sinab ko'rish va natijalarni ob'ektiv taqqoslash orqali qaysi versiya yaxshiroq ishlashini aniqlash. Iterativ yaxshilash esa bu jarayonni bir necha marta takrorlab, promptni bosqichma-bosqich mukammallashtirish.

Kattalashtirish

Why Does It Exist?

Bitta misolda yaxshi ishlagan prompt boshqa holatlarda yomon ishlashi mumkin — bu "overfitting"ga o'xshash holat. A/B testlash bir nechta turli holatlarda ikkita promptni solishtirib, qaysi biri umumiy holatda yaxshiroq ishlashini ob'ektiv aniqlash imkonini beradi, shaxsiy taassurotga emas, ma'lumotga tayangan holda.

Example

code.text
TEXTNusxalash
01A versiyasi: "Mijoz sharhini ijobiy yoki salbiy deb tasnifla."
02B versiyasi: "Mijoz sharhini ijobiy, salbiy yoki neytral deb tasnifla. Agar sharhda ham ijobiy, ham salbiy fikr bo'lsa, neytral deb belgila."
03 
04Test: Ikkala promptni 20 ta turli mijoz sharhida sinab, natijalarni haqiqiy (inson tomonidan belgilangan) toifalar bilan solishtirish.

Natija tavsifi: Agar B versiyasi 20 ta sharhning 18 tasida to'g'ri toifani aniqlasa, A versiyasi esa faqat 12 tasida (chunki A versiyasida "neytral" toifasi yo'qligi sababli aralash sharhlarni noto'g'ri tasniflaydi), bu B versiyasining aniqroq ekanini ob'ektiv ko'rsatadi — bu shunchaki "menimcha B yaxshiroq" deyishdan ancha ishonchli.

⚠️ Common Mistake: Faqat 1-2 ta misolda promptlarni solishtirib, xulosa chiqarish. Kichik namunada tasodifiy natija chiqishi mumkin — ishonchli xulosa uchun yetarlicha xilma-xil va son jihatdan yetarli test holatlari kerak.

📝 Practice Exercises

🟢 Exercise 1 — Easy

Task: Email sarlavhasi yaratuvchi ikkita promptning (A va B) versiyasini yozing va ularni qanday mezonlar (masalan, aniqlik, jozibalik) bo'yicha solishtirishingiz mumkinligini tavsiflang.

🟡 Exercise 2 — Medium

Task: Mijozlar murojaatini tasniflovchi promptning uch bosqichli iterativ yaxshilanish jarayonini (har bir bosqichda aniq bir muammo va uning yechimi bilan) tavsiflang.

🔴 Exercise 3 — Hard

Task: Production darajasidagi (masalan, avtomatik email javob beruvchi) prompt uchun to'liq A/B test rejasini tuzing: qancha test holati kerak, qanday mezonlar bilan baholanadi, natijalar qanday hujjatlashtiriladi.

🐛 Prompt Debugging Challenge

code.text
TEXTNusxalash
01"Men promptni o'zgartirdim va bitta misolda yaxshiroq ishladi, shuning uchun uni productionga chiqardim."

Your Task: Bu yondashuvdagi xatoni toping va to'g'ri jarayonni tavsiflang.

<details> <summary>Solution</summary> Muammo: Faqat bitta misolda yaxshi natija berish, promptning umumiy holatlarda ham yaxshi ishlashini kafolatlamaydi. Bu — "overfitting"ga o'xshash xato: prompt shu bitta holatga "moslashtirilgan" bo'lishi mumkin, boshqa holatlarda yomonroq ishlashi ehtimoli bor.

To'g'ri jarayon: Yangi promptni kamida 15-20 ta turli, xilma-xil test holatida sinab ko'rish, natijalarni eski versiya bilan ob'ektiv solishtirish (masalan, aniqlik foizi bo'yicha), va faqat umumiy natija yaxshilangan taqdirdagina productionga chiqarish kerak.

</details>

📌 Chapter Summary

A/B testlash va iterativ yaxshilash promptni shaxsiy taassurot emas, ob'ektiv ma'lumot asosida takomillashtirish imkonini beradi. Har bir iteratsiyada aniq bitta muammoni topib tuzatish, yetarlicha xilma-xil test holatlarida sinash va "yetarlicha yaxshi" chegarasini belgilash — barqaror va samarali jarayonning kaliti.

🎯 Key Takeaways

• A/B testlash — ikki prompt versiyasini ob'ektiv, bir xil sharoitda solishtirish.
• Kichik namunada (1-2 misol) xulosa chiqarish ishonchsiz.
• Iterativ yaxshilash — test → tahlil → tuzatish tsiklini takrorlash.
• Har bir iteratsiyada bitta aniq muammoga e'tibor qaratish tavsiya etiladi.
• "Yetarlicha yaxshi" chegarasini belgilash cheksiz iteratsiyaning oldini oladi.

⚡ Quick Cheat Sheet

• Kamida 15-20 ta xilma-xil test holatida sinab ko'r.
• Har bir iteratsiyada faqat bitta o'zgarish kirit.
• Natijalarni raqamli mezon (masalan, aniqlik %) bilan hujjatlashtir.
• Oldindan "yetarlicha yaxshi" chegarasini belgila.