Token, Context Window, dan Parameter LLM

Cara kerja tokenisasi, batas context window, dan parameter API (temperature, top_p, max_tokens) yang mengontrol perilaku dan biaya output.

8.1 Apa itu Token

LLM tidak membaca teks seperti manusia membaca, tidak per kata, tidak per karakter. LLM membaca dalam satuan yang disebut token: potongan teks yang ukurannya bervariasi tergantung pada model dan bahasa yang digunakan.

Sebuah token bisa berupa satu kata utuh, bagian dari kata, tanda baca, atau bahkan spasi. Proses memotong teks menjadi token disebut tokenisasi, dan setiap model memiliki tokenizer-nya sendiri yang menentukan cara pemotongan dilakukan.

Perhatikan bagaimana teks yang sama dipotong menjadi unit-unit token yang berbeda tergantung pada isinya.

8.2 Context Window

Context window adalah jumlah maksimum token yang bisa "dilihat" oleh model dalam satu request, termasuk seluruh riwayat percakapan, System Prompt, dokumen yang disisipkan, dan output yang dihasilkan sejauh ini.

Ini bukan sekadar batasan teknis. Context window adalah fondasi dari cara LLM memproses informasi: model hanya bisa "mengingat" apa yang ada di dalam context window-nya. Teks di luar batas ini tidak diproses, seolah tidak pernah ada.

Perbandingan context window model-model yang umum digunakan.

8.3 Parameter API yang Wajib Dikuasai

Setiap request ke LLM API bisa dikonfigurasi dengan beberapa parameter yang mengontrol perilaku output. Tiga parameter yang paling penting dan paling sering digunakan adalah Temperature, Top-p, dan Max Tokens.

Temperature (rentang 0.0 sampai 2.0)

Mengontrol distribusi probabilitas token output. Secara teknis, temperature membagi logit (nilai mentah sebelum softmax) sebelum probabilitas dihitung. Nilai rendah membuat distribusi lebih "tajam", token dengan probabilitas tertinggi mendominasi. Nilai tinggi membuat distribusi lebih "datar", token yang kurang probable punya kesempatan lebih besar untuk dipilih.

response = client.generate(
    "Pertanyaan pengguna",
    temperature=0.1  # untuk RAG dan ekstraksi data
)

top_p (rentang 0.0 sampai 1.0)

Nucleus sampling. Alih-alih mempertimbangkan semua token yang mungkin, model hanya mempertimbangkan token-token yang total probabilitasnya mencapai nilai top_p. Nilai 0.9 berarti model hanya mempertimbangkan token-token yang secara kolektif mencakup 90% probabilitas, token yang sangat tidak mungkin dikeluarkan dari pertimbangan.

max_tokens (rentang 1 sampai batas model)

Batas maksimum jumlah token yang bisa dihasilkan model dalam satu response. Model berhenti menghasilkan output ketika mencapai batas ini, meskipun kalimat atau pemikiran belum selesai. Ini adalah parameter penting untuk mengontrol biaya dan mencegah response yang terlalu panjang.

8.4 Menghitung Estimasi Token dan Biaya

Sebelum sistem AI kamu masuk ke produksi, kamu perlu bisa memperkirakan berapa token yang akan digunakan per request dan berapa biaya yang akan ditanggung. Ini bukan langkah opsional, ini adalah bagian dari tanggung jawab desain sistem.

# Instalasi: pip install tiktoken
import tiktoken

def hitung_token(teks: str, model: str = "gpt-4o") -> int:
    """Hitung jumlah token untuk teks tertentu."""
    encoding = tiktoken.encoding_for_model(model)
    return len(encoding.encode(teks))

# Untuk model Gemini, gunakan pendekatan estimasi:
# ~4 karakter per token untuk bahasa Inggris
# ~2-3 karakter per token untuk Bahasa Indonesia
def estimasi_token_indonesia(teks: str) -> int:
    """Estimasi kasar untuk Bahasa Indonesia."""
    return len(teks) // 2  # konservatif: 2 karakter/token

# Kalkulator biaya per request
HARGA_PER_1K_TOKEN = {
    "gemini-1.5-flash": {"input": 0.000075, "output": 0.0003},
    "gemini-1.5-pro":   {"input": 0.00125,  "output": 0.005},
    "gpt-4o":           {"input": 0.005,    "output": 0.015},
    "gpt-4o-mini":      {"input": 0.00015,  "output": 0.0006},
}

def estimasi_biaya(
    token_input: int,
    token_output: int,
    model: str,
    request_per_hari: int = 1000
) -> dict:
    """
    Estimasi biaya per request dan per bulan.
    Harga dalam USD berdasarkan tarif per 1.000 token.
    """
    harga = HARGA_PER_1K_TOKEN.get(model, {"input": 0, "output": 0})

    biaya_per_req = (
        (token_input / 1000) * harga["input"] +
        (token_output / 1000) * harga["output"]
    )
    biaya_per_hari = biaya_per_req * request_per_hari
    biaya_per_bulan = biaya_per_hari * 30

    return {
        "biaya_per_request_usd": round(biaya_per_req, 6),
        "biaya_per_hari_usd": round(biaya_per_hari, 4),
        "biaya_per_bulan_usd": round(biaya_per_bulan, 2),
    }

# Contoh penggunaan
system_prompt = "Kamu adalah asisten customer service..."  # ~50 token
dokumen_rag = "[Konten dokumen yang diambil]"                # ~500 token
pertanyaan = "Apa kebijakan pengembalian barang?"            # ~10 token
jawaban_est = "[Estimasi jawaban]"                           # ~200 token

total_input = 50 + 500 + 10  # = 560 token
total_output = 200

hasil = estimasi_biaya(
    token_input=total_input,
    token_output=total_output,
    model="gemini-1.5-flash",
    request_per_hari=1000
)
print(hasil)
# {'biaya_per_request_usd': 0.0000017,
#  'biaya_per_hari_usd': 0.0017,
#  'biaya_per_bulan_usd': 0.05}

Kesalahan Umum

Ringkasan Bab 8