Chapter 0 — Token, Kontekst Oynasi va Sampling (temperature, top-p)

Prompt yozishni o‘rganishdan oldin, Katta Til Modeli (LLM) inson tilini qanday "ko‘rishi" va so‘zlarni qanday generatsiya qilishining fizik mexanikasini tushunish shart. Ushbu bob keyingi barcha ilg‘or promptlash texnikalarining poydevoridir: nega promptlar uzunligi cheklangan, nega model har safar bir xil savolga har xil javob berishi mumkin va qanday qilib uni 100% barqaror boshqarish mumkin — barchasi shu yerda ochib beriladi.

Bu fundamental tamoyillar ChatGPT, Claude, DeepSeek, Gemini — barcha zamonaviy AI modellariga bab-baravar tegishlidir.

---

1. Token nima va Model Matnni Qanday "Ko‘radi"?

Simple Explanation (Sodda Tushuntirish)

Sun’iy intellekt matnni inson kabi harflar yoki butun so‘zlar sifatida o‘qimaydi. U matnni token deb ataluvchi maxsus raqamli bo‘laklarga ajratadi.

Token — bu bitta to‘liq so‘z, so‘zning bir bo‘lagi, tinish belgisi yoki hatto bitta bo‘sh joy (probel) bo‘lishi mumkin. Model siz yozgan promptni ham, o‘zi qaytaradigan javobni ham xuddi zanjirdek tokenma-token ketma-ketlikda hosil qiladi.

Kattalashtirish

Why Does It Exist? (Nega u mavjud?)

Neyron tarmoqlar matnni to‘g‘ridan-to‘g‘ri tushunmaydi — ular faqat sonlar va matematik vektorlar bilan ishlaydi. Tokenizatsiya — bu inson tilidagi harflarni kompyuter tushunadigan raqamlar matritsasiga aylantirishning xalqaro standart usulidir.

Shuningdek, token:

1. API narxlash birligi: Barcha AI provayderlar (OpenAI, Anthropic, Google) har 1 000 yoki 1 million token uchun haq oladi.
2. Hisoblash tezligi va xotira o‘lchovi: Modelning generatsiya tezligi bevosita soniyasiga qancha token chiqarishiga bog‘liq.

Ingliz tili va O‘zbek tili Tokenizatsiyasidagi Farq

⚠️ Common Mistake (Keng Tarqalgan Xato): "1 token = 1 so‘z" deb hisoblash. Ingliz tilida o‘rtacha 1 token ≈ 0.75 so‘zga teng. Biroq o‘zbek tili kabi agglyutinativ (qo‘shimchalar orqali yasaladigan) tillarda bitta so‘z ko‘pincha 3-4 ta tokenga bo‘linadi (masalan: "kitobxonlarimiznikidan" so‘zi 5 ta alohida tokenga ajraladi). Shuning uchun o‘zbek tilida yozilgan uzun promptlar inglizchasiga qaraganda 2–3 baravar ko‘proq token sarflaydi.

📝 Practice Exercises (Amaliy Mashqlar)

🟢 Exercise 1 — Easy

Vazifa: Quyidagi jumlani ko‘rib chiqing: "Sun'iy intellekt tibbiyotda shifokorlarga tashxis qo‘yishda ko‘maklashadi." Ushbu jumlani AI modeliga yuborib, nega o‘zbek tilidagi bu gap ingliz tilidagi variantiga qaraganda 2 barobar ko‘proq tokenga bo‘linishini so‘rovchi aniq prompt yozing.