Ekosistem LLM dan Cara Memilih Model
Peta lanskap LLM proprietary vs open-source, navigasi Hugging Face Hub, dan framework keputusan lima pertanyaan untuk memilih model yang tepat.
Memilih model LLM yang tepat adalah salah satu keputusan paling awal dan paling berdampak dalam membangun sistem AI. Bab ini memberimu kerangka berpikir untuk membuat keputusan tersebut secara sistematis, bukan berdasarkan mana yang paling terkenal atau paling baru, tapi berdasarkan constraint nyata proyekmu.
10.1 Peta Lanskap LLM
Ekosistem LLM terbagi menjadi dua kelompok besar berdasarkan cara aksesnya: model proprietary yang diakses via API dari perusahaan penyedia, dan model open-source yang bobotnya tersedia untuk diunduh dan dijalankan sendiri.
10.2 Perbandingan Model yang Umum Digunakan
| Model | Context Window | Bahasa Indonesia | Cocok untuk |
|---|---|---|---|
| gemini-1.5-pro (Google) Proprietary, Powerful | 1.000.000 | Baik | Analisis dokumen sangat panjang, reasoning mendalam |
| gpt-4o (OpenAI) Proprietary, Powerful | 128.000 | Baik | RAG produksi, coding assistance, analisis multi-modal |
| claude-3-5-sonnet (Anthropic) Proprietary, Powerful | 200.000 | Baik | Penulisan panjang, analisis dokumen kompleks, kepatuhan instruksi tinggi |
| gemini-1.5-flash (Google) Proprietary, Ringan | 1.000.000 | Baik | Development, testing, RAG volume tinggi. Rekomendasi utama pemula |
| gpt-4o-mini (OpenAI) Proprietary, Ringan | 128.000 | Cukup | Tugas sederhana, klasifikasi, ekstraksi data biaya rendah |
| llama-3.1-70b (Meta) Open-source | 128.000 | Cukup | Alternatif proprietary untuk data sensitif, perlu GPU ≥40GB VRAM |
| llama-3.2-3b (Meta) Open-source | 128.000 | Terbatas | Edge deployment, device lokal, eksperimen tanpa GPU besar |
| phi-3-mini (Microsoft) Open-source | 128.000 | Terbatas | Tugas sederhana di lingkungan resource sangat terbatas |
10.3 Cara Menavigasi Hugging Face Hub
Hugging Face Hub adalah repositori model AI terbesar yang tersedia secara publik. Di sini kamu bisa menemukan puluhan ribu model open-source, dari model embedding hingga LLM besar beserta dokumentasi, dataset, dan kode untuk menggunakannya.
Masalah yang sering dihadapi pemula adalah tidak tahu cara memfilter ribuan model yang tersedia untuk menemukan yang paling sesuai dengan kebutuhan. Berikut cara navigasi yang sistematis:
1. Filter berdasarkan task
Langkah pertama adalah menentukan apa yang ingin dilakukan model. Klik "Tasks" di sidebar Hugging Face untuk memfilter model berdasarkan kategori tugas.
Gunakan Feature Extraction untuk model embedding, dan Text Generation untuk LLM yang menghasilkan jawaban.
2. Filter berdasarkan bahasa
Jika sistem kamu menggunakan Bahasa Indonesia, filter berdasarkan bahasa adalah langkah kritis yang sering dilewati. Klik "Languages" dan pilih Indonesian (id) atau gunakan model multilingual.
Model dengan label "Multilingual" biasanya mendukung Bahasa Indonesia tapi kualitasnya bervariasi. Selalu uji dengan teks Bahasa Indonesia sebelum memutuskan menggunakannya.
3. Baca Model Card dengan cermat
Setiap model di Hugging Face memiliki halaman dokumentasi yang disebut Model Card. Ada empat bagian yang paling penting untuk dibaca sebelum menggunakan model:
Untuk tugas apa model ini dilatih? Apakah sesuai dengan kebutuhanmu?
Apakah boleh digunakan untuk keperluan komersial? Beberapa model hanya untuk riset.
Berapa skor model pada benchmark standar? Bandingkan dengan model lain di task yang sama.
Apa keterbatasan model? Bahasa apa yang kurang didukung? Bias apa yang diketahui?
4. Pertimbangkan ukuran dan kebutuhan hardware
Ukuran model (jumlah parameter) menentukan berapa banyak VRAM GPU yang dibutuhkan untuk menjalankannya. Ini adalah constraint praktis yang sering tidak disebutkan dalam tutorial.
Bisa berjalan di CPU atau GPU konsumer (4-8GB VRAM). Kualitas terbatas.
Butuh GPU dengan 16-24GB VRAM. Kualitas cukup baik untuk banyak tugas.
Butuh GPU A100 (40-80GB) atau multi-GPU. Kualitas mendekati proprietary.
Tidak butuh GPU lokal. Gunakan Together AI, Replicate, atau Groq untuk model besar via API.
Untuk sebagian besar AI Engineer pemula: gunakan model proprietary via API (Gemini, OpenAI) daripada menjalankan model open-source secara lokal. Biayanya lebih terkontrol dan tidak membutuhkan infrastruktur GPU.
10.4 Framework Keputusan: Memilih Model yang Tepat
Tidak ada model yang terbaik secara absolut. Yang ada adalah model yang paling sesuai dengan constraint spesifik proyekmu. Gunakan framework berikut setiap kali kamu perlu membuat keputusan pemilihan model.
1. Apakah data yang diproses bersifat sensitif atau rahasia?
→ Open-source lokal atau private cloud
Data tidak boleh keluar ke server pihak ketiga. Gunakan model yang bisa dijalankan di infrastrukturmu sendiri.
→ Proprietary API diperbolehkan
Lanjut ke pertanyaan berikutnya untuk memilih model yang paling tepat.
2. Apa fase proyek saat ini?
→ Gemini 1.5 Flash atau GPT-4o mini
Model ringan dan murah untuk iterasi cepat. Biaya rendah memungkinkan eksperimen tanpa khawatir tagihan membengkak.
→ Evaluasi dulu dengan model ringan, upgrade jika perlu
Mulai dengan model ringan di produksi, ukur kualitasnya, lalu upgrade ke model berat hanya jika kualitasnya tidak mencukupi.
3. Seberapa kompleks tugas yang perlu diselesaikan?
→ Gemini Flash / GPT-4o mini
Klasifikasi, ekstraksi data terstruktur, FAQ sederhana, ringkasan pendek. Model ringan sudah cukup dan jauh lebih hemat.
→ Gemini Pro / GPT-4o / Claude Sonnet
Reasoning multi-langkah, analisis dokumen panjang, coding kompleks, atau tugas yang membutuhkan pemahaman konteks mendalam.
4. Apakah Bahasa Indonesia adalah bahasa utama sistem?
→ Gemini (terbaik) atau model multilingual
Model Google umumnya lebih baik dalam Bahasa Indonesia karena dilatih pada lebih banyak data berbahasa Indonesia dibanding kompetitor. Uji secara eksplisit sebelum memutuskan.
→ Semua model proprietary besar cukup baik
GPT-4o, Claude, dan Gemini semuanya sangat baik dalam bahasa Inggris. Faktor lain seperti harga dan integrasi menjadi penentu utama.
5. Berapa budget API per bulan yang tersedia?
→ Gemini Flash (ada free tier) atau open-source lokal
Google Gemini memiliki free tier yang cukup untuk development. Manfaatkan ini selama prototyping sebelum beralih ke paid tier.
→ Pilih berdasarkan kualitas dan fitur
Dengan budget yang cukup, fokus pada kualitas output dan kemudahan integrasi. Terapkan Model Routing (Bab 19) untuk mengoptimalkan biaya.
10.5 Implikasi Tokenisasi pada Bahasa Indonesia
Seperti yang sudah disinggung di Bab 8, tokenizer LLM dilatih mayoritas pada teks bahasa Inggris. Konsekuensinya untuk sistem berbahasa Indonesia:
Biaya lebih tinggi per kata. Karena Bahasa Indonesia membutuhkan lebih banyak token untuk teks yang setara, biaya API untuk sistem berbahasa Indonesia bisa 1.5 sampai 2 kali lebih tinggi dari estimasi yang dibuat berdasarkan asumsi bahasa Inggris.
Performa bisa lebih rendah. Beberapa model mengalami penurunan kualitas reasoning saat bekerja dengan bahasa yang underrepresented dalam training data mereka. Ini berarti instruksi yang kompleks dalam Bahasa Indonesia mungkin tidak diikuti seakurat instruksi dalam bahasa Inggris.
Untuk System Prompt dan instruksi teknis yang kompleks, pertimbangkan menulis dalam bahasa Inggris meskipun output yang diinginkan adalah Bahasa Indonesia. Banyak tim engineering melakukan ini karena instruksi bahasa Inggris diikuti lebih akurat oleh sebagian besar model.
Kesalahan Umum
Model terbaru tidak selalu terbaik untuk use case kamu. GPT-4o mungkin lebih populer, tapi Gemini Flash mungkin lebih cocok untuk sistem berbahasa Indonesia dengan volume tinggi karena lebih murah dan context window-nya jauh lebih besar.
Model berat (Pro/Opus/GPT-4o) tidak selalu menghasilkan output yang lebih baik untuk tugas-tugas sederhana, terkadang model ringan bahkan lebih konsisten. Selalu mulai dengan model ringan, ukur kualitasnya, dan upgrade hanya jika benar-benar diperlukan.
Tidak semua model open-source boleh digunakan secara komersial. Beberapa model seperti Llama memiliki lisensi khusus yang membatasi penggunaan komersial di atas skala tertentu. Selalu baca bagian "License" di Model Card Hugging Face.
Kombinasi terbaik dari context window besar (1 juta token), dukungan Bahasa Indonesia yang baik, biaya rendah, dan ada free tier yang cukup untuk development. Pilihan paling praktis untuk memulai.
Ringkasan Bab 10
- Saya memahami perbedaan antara model proprietary dan open-source, beserta trade-off masing-masing dalam hal kualitas, biaya, privasi, dan kemudahan penggunaan.
- Saya bisa menavigasi Hugging Face Hub untuk menemukan model yang sesuai: memfilter berdasarkan task, bahasa, dan membaca Model Card dengan cermat.
- Saya memahami bahwa ukuran model (jumlah parameter) menentukan kebutuhan VRAM, dan tahu kapan menjalankan model lokal vs menggunakan API lebih praktis.
- Saya bisa menggunakan framework keputusan 5 pertanyaan untuk memilih model yang tepat berdasarkan constraint proyek: privasi data, fase, kompleksitas tugas, bahasa, dan budget.
- Saya memahami mengapa model Gemini umumnya lebih direkomendasikan untuk sistem berbahasa Indonesia, dan tahu cara menguji dukungan bahasa sebelum memutuskan.
- Saya tahu bahwa tokenisasi Bahasa Indonesia membutuhkan lebih banyak token, dan memahami implikasinya terhadap estimasi biaya dan performa sistem.
- Saya selalu memeriksa lisensi model open-source sebelum menggunakannya untuk keperluan komersial.