Handbook AI Engineering
Bagian III - Bab 10

Ekosistem LLM dan Cara Memilih Model

Peta lanskap LLM proprietary vs open-source, navigasi Hugging Face Hub, dan framework keputusan lima pertanyaan untuk memilih model yang tepat.

Apa yang Akan Kamu Pahami Setelah Bab Ini

Memilih model LLM yang tepat adalah salah satu keputusan paling awal dan paling berdampak dalam membangun sistem AI. Bab ini memberimu kerangka berpikir untuk membuat keputusan tersebut secara sistematis, bukan berdasarkan mana yang paling terkenal atau paling baru, tapi berdasarkan constraint nyata proyekmu.

10.1 Peta Lanskap LLM

Ekosistem LLM terbagi menjadi dua kelompok besar berdasarkan cara aksesnya: model proprietary yang diakses via API dari perusahaan penyedia, dan model open-source yang bobotnya tersedia untuk diunduh dan dijalankan sendiri.

10.2 Perbandingan Model yang Umum Digunakan

Model Context Window Bahasa Indonesia Cocok untuk
gemini-1.5-pro (Google)
Proprietary, Powerful
1.000.000BaikAnalisis dokumen sangat panjang, reasoning mendalam
gpt-4o (OpenAI)
Proprietary, Powerful
128.000BaikRAG produksi, coding assistance, analisis multi-modal
claude-3-5-sonnet (Anthropic)
Proprietary, Powerful
200.000BaikPenulisan panjang, analisis dokumen kompleks, kepatuhan instruksi tinggi
gemini-1.5-flash (Google)
Proprietary, Ringan
1.000.000BaikDevelopment, testing, RAG volume tinggi. Rekomendasi utama pemula
gpt-4o-mini (OpenAI)
Proprietary, Ringan
128.000CukupTugas sederhana, klasifikasi, ekstraksi data biaya rendah
llama-3.1-70b (Meta)
Open-source
128.000CukupAlternatif proprietary untuk data sensitif, perlu GPU ≥40GB VRAM
llama-3.2-3b (Meta)
Open-source
128.000TerbatasEdge deployment, device lokal, eksperimen tanpa GPU besar
phi-3-mini (Microsoft)
Open-source
128.000TerbatasTugas sederhana di lingkungan resource sangat terbatas

10.3 Cara Menavigasi Hugging Face Hub

Hugging Face Hub adalah repositori model AI terbesar yang tersedia secara publik. Di sini kamu bisa menemukan puluhan ribu model open-source, dari model embedding hingga LLM besar beserta dokumentasi, dataset, dan kode untuk menggunakannya.

Masalah yang sering dihadapi pemula adalah tidak tahu cara memfilter ribuan model yang tersedia untuk menemukan yang paling sesuai dengan kebutuhan. Berikut cara navigasi yang sistematis:

1. Filter berdasarkan task

Langkah pertama adalah menentukan apa yang ingin dilakukan model. Klik "Tasks" di sidebar Hugging Face untuk memfilter model berdasarkan kategori tugas.

Text Generation Text Classification Feature Extraction Question Answering Summarization Translation Sentence Similarity Token Classification
Untuk RAG

Gunakan Feature Extraction untuk model embedding, dan Text Generation untuk LLM yang menghasilkan jawaban.

2. Filter berdasarkan bahasa

Jika sistem kamu menggunakan Bahasa Indonesia, filter berdasarkan bahasa adalah langkah kritis yang sering dilewati. Klik "Languages" dan pilih Indonesian (id) atau gunakan model multilingual.

Indonesian (id) Multilingual English (en)
Uji Sebelum Memutuskan

Model dengan label "Multilingual" biasanya mendukung Bahasa Indonesia tapi kualitasnya bervariasi. Selalu uji dengan teks Bahasa Indonesia sebelum memutuskan menggunakannya.

3. Baca Model Card dengan cermat

Setiap model di Hugging Face memiliki halaman dokumentasi yang disebut Model Card. Ada empat bagian yang paling penting untuk dibaca sebelum menggunakan model:

Intended Use

Untuk tugas apa model ini dilatih? Apakah sesuai dengan kebutuhanmu?

Lisensi

Apakah boleh digunakan untuk keperluan komersial? Beberapa model hanya untuk riset.

Evaluation Results

Berapa skor model pada benchmark standar? Bandingkan dengan model lain di task yang sama.

Limitations

Apa keterbatasan model? Bahasa apa yang kurang didukung? Bias apa yang diketahui?

4. Pertimbangkan ukuran dan kebutuhan hardware

Ukuran model (jumlah parameter) menentukan berapa banyak VRAM GPU yang dibutuhkan untuk menjalankannya. Ini adalah constraint praktis yang sering tidak disebutkan dalam tutorial.

~1-3B Parameter

Bisa berjalan di CPU atau GPU konsumer (4-8GB VRAM). Kualitas terbatas.

~7-13B Parameter

Butuh GPU dengan 16-24GB VRAM. Kualitas cukup baik untuk banyak tugas.

~70B Parameter

Butuh GPU A100 (40-80GB) atau multi-GPU. Kualitas mendekati proprietary.

Via API (Cloud)

Tidak butuh GPU lokal. Gunakan Together AI, Replicate, atau Groq untuk model besar via API.

Rekomendasi untuk Pemula

Untuk sebagian besar AI Engineer pemula: gunakan model proprietary via API (Gemini, OpenAI) daripada menjalankan model open-source secara lokal. Biayanya lebih terkontrol dan tidak membutuhkan infrastruktur GPU.

10.4 Framework Keputusan: Memilih Model yang Tepat

Tidak ada model yang terbaik secara absolut. Yang ada adalah model yang paling sesuai dengan constraint spesifik proyekmu. Gunakan framework berikut setiap kali kamu perlu membuat keputusan pemilihan model.

1. Apakah data yang diproses bersifat sensitif atau rahasia?

Ya - Data Sensitif

→ Open-source lokal atau private cloud
Data tidak boleh keluar ke server pihak ketiga. Gunakan model yang bisa dijalankan di infrastrukturmu sendiri.

Tidak - Data Bisa Keluar

→ Proprietary API diperbolehkan
Lanjut ke pertanyaan berikutnya untuk memilih model yang paling tepat.

2. Apa fase proyek saat ini?

Prototyping / Development

→ Gemini 1.5 Flash atau GPT-4o mini
Model ringan dan murah untuk iterasi cepat. Biaya rendah memungkinkan eksperimen tanpa khawatir tagihan membengkak.

Produksi

→ Evaluasi dulu dengan model ringan, upgrade jika perlu
Mulai dengan model ringan di produksi, ukur kualitasnya, lalu upgrade ke model berat hanya jika kualitasnya tidak mencukupi.

3. Seberapa kompleks tugas yang perlu diselesaikan?

Tugas Sederhana

→ Gemini Flash / GPT-4o mini
Klasifikasi, ekstraksi data terstruktur, FAQ sederhana, ringkasan pendek. Model ringan sudah cukup dan jauh lebih hemat.

Tugas Kompleks

→ Gemini Pro / GPT-4o / Claude Sonnet
Reasoning multi-langkah, analisis dokumen panjang, coding kompleks, atau tugas yang membutuhkan pemahaman konteks mendalam.

4. Apakah Bahasa Indonesia adalah bahasa utama sistem?

Ya - Bahasa Indonesia Utama

→ Gemini (terbaik) atau model multilingual
Model Google umumnya lebih baik dalam Bahasa Indonesia karena dilatih pada lebih banyak data berbahasa Indonesia dibanding kompetitor. Uji secara eksplisit sebelum memutuskan.

Tidak - Bahasa Inggris atau Bilingual

→ Semua model proprietary besar cukup baik
GPT-4o, Claude, dan Gemini semuanya sangat baik dalam bahasa Inggris. Faktor lain seperti harga dan integrasi menjadi penentu utama.

5. Berapa budget API per bulan yang tersedia?

Sangat Terbatas / Gratis

→ Gemini Flash (ada free tier) atau open-source lokal
Google Gemini memiliki free tier yang cukup untuk development. Manfaatkan ini selama prototyping sebelum beralih ke paid tier.

Ada Budget Fleksibel

→ Pilih berdasarkan kualitas dan fitur
Dengan budget yang cukup, fokus pada kualitas output dan kemudahan integrasi. Terapkan Model Routing (Bab 19) untuk mengoptimalkan biaya.

10.5 Implikasi Tokenisasi pada Bahasa Indonesia

Seperti yang sudah disinggung di Bab 8, tokenizer LLM dilatih mayoritas pada teks bahasa Inggris. Konsekuensinya untuk sistem berbahasa Indonesia:

Biaya lebih tinggi per kata. Karena Bahasa Indonesia membutuhkan lebih banyak token untuk teks yang setara, biaya API untuk sistem berbahasa Indonesia bisa 1.5 sampai 2 kali lebih tinggi dari estimasi yang dibuat berdasarkan asumsi bahasa Inggris.

Performa bisa lebih rendah. Beberapa model mengalami penurunan kualitas reasoning saat bekerja dengan bahasa yang underrepresented dalam training data mereka. Ini berarti instruksi yang kompleks dalam Bahasa Indonesia mungkin tidak diikuti seakurat instruksi dalam bahasa Inggris.

Solusi Praktis

Untuk System Prompt dan instruksi teknis yang kompleks, pertimbangkan menulis dalam bahasa Inggris meskipun output yang diinginkan adalah Bahasa Indonesia. Banyak tim engineering melakukan ini karena instruksi bahasa Inggris diikuti lebih akurat oleh sebagian besar model.

Kesalahan Umum

Jangan Memilih Model Hanya Berdasarkan yang Paling Terkenal

Model terbaru tidak selalu terbaik untuk use case kamu. GPT-4o mungkin lebih populer, tapi Gemini Flash mungkin lebih cocok untuk sistem berbahasa Indonesia dengan volume tinggi karena lebih murah dan context window-nya jauh lebih besar.

Jangan Langsung Menggunakan Model Terberat untuk Semua Tugas

Model berat (Pro/Opus/GPT-4o) tidak selalu menghasilkan output yang lebih baik untuk tugas-tugas sederhana, terkadang model ringan bahkan lebih konsisten. Selalu mulai dengan model ringan, ukur kualitasnya, dan upgrade hanya jika benar-benar diperlukan.

Periksa Lisensi Sebelum Menggunakan Model Open-source untuk Proyek Komersial

Tidak semua model open-source boleh digunakan secara komersial. Beberapa model seperti Llama memiliki lisensi khusus yang membatasi penggunaan komersial di atas skala tertentu. Selalu baca bagian "License" di Model Card Hugging Face.

Gemini 1.5 Flash sebagai Titik Awal Default untuk Sistem Berbahasa Indonesia

Kombinasi terbaik dari context window besar (1 juta token), dukungan Bahasa Indonesia yang baik, biaya rendah, dan ada free tier yang cukup untuk development. Pilihan paling praktis untuk memulai.

Ringkasan Bab 10

Checklist Pemahaman
  • Saya memahami perbedaan antara model proprietary dan open-source, beserta trade-off masing-masing dalam hal kualitas, biaya, privasi, dan kemudahan penggunaan.
  • Saya bisa menavigasi Hugging Face Hub untuk menemukan model yang sesuai: memfilter berdasarkan task, bahasa, dan membaca Model Card dengan cermat.
  • Saya memahami bahwa ukuran model (jumlah parameter) menentukan kebutuhan VRAM, dan tahu kapan menjalankan model lokal vs menggunakan API lebih praktis.
  • Saya bisa menggunakan framework keputusan 5 pertanyaan untuk memilih model yang tepat berdasarkan constraint proyek: privasi data, fase, kompleksitas tugas, bahasa, dan budget.
  • Saya memahami mengapa model Gemini umumnya lebih direkomendasikan untuk sistem berbahasa Indonesia, dan tahu cara menguji dukungan bahasa sebelum memutuskan.
  • Saya tahu bahwa tokenisasi Bahasa Indonesia membutuhkan lebih banyak token, dan memahami implikasinya terhadap estimasi biaya dan performa sistem.
  • Saya selalu memeriksa lisensi model open-source sebelum menggunakannya untuk keperluan komersial.