Pembuka

Mengenal AI Engineering

Peta jalan sebelum masuk ke materi teknis: apa itu AI Engineering, mengapa profesi ini muncul sekarang, bagaimana anatomi sebuah sistem AI produksi, dan jalur karir apa saja yang tersedia.

Apa itu AI Engineering

Selama beberapa dekade, kecerdasan buatan adalah domain eksklusif peneliti. Untuk membuat model yang bisa mengenali gambar atau menerjemahkan teks, seseorang harus memahami matematika di balik neural network, mengumpulkan dataset besar, melatih model dari nol dengan infrastruktur komputasi yang mahal, dan mempublikasikan hasilnya di jurnal akademik sebelum orang lain bisa menggunakannya.

Kemudian sesuatu berubah secara fundamental.

Model-model bahasa besar seperti GPT, Gemini, dan Claude tidak hanya tersedia sebagai paper akademik, mereka bisa dipanggil dengan beberapa baris kode melalui API. Tiba-tiba, kemampuan yang sebelumnya membutuhkan tim peneliti selama bertahun-tahun bisa diintegrasikan ke dalam aplikasi dalam hitungan jam. Ini adalah pergeseran yang menciptakan profesi baru: AI Engineer.

AI Engineer bukan ilmuwan yang menemukan algoritma baru. AI Engineer bukan data scientist yang menganalisis dataset untuk menghasilkan insight. AI Engineer adalah orang yang membangun sistem, sistem yang menggunakan kemampuan model AI yang sudah ada untuk menyelesaikan masalah nyata bagi pengguna nyata.

Perbedaan ini penting dan sering disalahpahami. Mari kita telusuri secara eksplisit.

Perbedaan ini bukan sekadar semantik. Implikasinya sangat praktis dalam pekerjaan sehari-hari.

Seorang ML Researcher menghabiskan berbulan-bulan mengeksperimen dengan arsitektur model baru, mengoptimalkan hyperparameter, dan memvalidasi hasil di atas dataset benchmark. Keberhasilan diukur dengan apakah model yang dihasilkan mencapai state-of-the-art di metrik tertentu.

Seorang Data Scientist menghabiskan waktu memahami data bisnis, menemukan pola, dan mengkomunikasikan temuan kepada stakeholder non-teknis. Keberhasilan diukur dengan apakah insight yang dihasilkan mempengaruhi keputusan bisnis.

Seorang AI Engineer menghabiskan waktu membangun sistem yang menggunakan model AI, bukan membuat model baru, dan memastikan sistem tersebut bisa berjalan dengan andal untuk ratusan atau ribuan pengguna sekaligus. Keberhasilan diukur dengan apakah sistem berjalan di produksi, menjawab pertanyaan dengan benar, tidak crash, dan tidak menguras budget API.

Dalam praktiknya, seorang AI Engineer perlu memahami cukup banyak tentang cara kerja model (untuk bisa debug ketika hasilnya tidak sesuai ekspektasi) dan cukup banyak tentang software engineering (untuk bisa membangun sistem yang tidak hanya "berjalan di laptop"). Tapi pusat gravitasi pekerjaannya adalah integrasi dan sistem, bukan riset dan bukan analisis.

Mengapa AI Engineering Penting Sekarang

Untuk memahami mengapa AI Engineering muncul sebagai profesi yang relevan sekarang, dan bukan 10 tahun lalu atau 10 tahun ke depan, perlu melihat pergeseran teknis yang terjadi dalam beberapa tahun terakhir.

Pergeseran terpenting terjadi sekitar 2022–2023, ketika model-model bahasa besar tidak hanya menjadi lebih canggih secara teknis, tapi juga menjadi dapat diakses melalui API. Ini adalah perubahan yang terlihat sederhana tapi dampaknya sangat luas.

Sebelum pergeseran ini, seseorang yang ingin membangun aplikasi berbasis AI harus mengumpulkan dataset yang cukup besar, melatih atau fine-tune model dengan infrastruktur komputasi yang mahal, mengelola deployment model tersebut, dan memperbarui model ketika performanya menurun. Proses ini membutuhkan keahlian ML yang dalam dan sumber daya yang tidak dimiliki sebagian besar perusahaan.

Setelah pergeseran ini, seseorang bisa menggunakan kemampuan yang setara atau lebih baik dengan cara yang jauh lebih sederhana: panggil API, sertakan konteks yang relevan, terima output, integrasikan ke dalam sistem yang sudah ada. Banyak langkah teknis yang sebelumnya menjadi hambatan kini sudah diabstraksi oleh penyedia model.

Ini bukan berarti pekerjaan AI Engineer mudah. Justru sebaliknya, tantangannya bergeser dari "bagaimana membuat model yang bekerja" menjadi "bagaimana membuat sistem yang menggunakan model secara andal, efisien, aman, dan bisa di-maintain". Tantangan ini sama sulitnya, hanya berbeda jenisnya.

Yang membuat profesi ini penting secara ekonomi adalah bahwa pergeseran ini menciptakan kesenjangan kemampuan yang sangat besar. Di satu sisi ada model AI yang sangat canggih tersedia untuk siapapun. Di sisi lain ada bisnis dan organisasi yang tahu mereka butuh mengintegrasikan AI tapi tidak tahu bagaimana melakukannya dengan benar. AI Engineer adalah yang menjembatani kesenjangan tersebut.

Anatomi Sistem AI: Apa Saja Bagian-Bagiannya

Sebelum masuk ke bab-bab teknis, penting memiliki gambaran utuh tentang seperti apa sistem AI produksi secara keseluruhan. Diagram berikut adalah "kompas" yang akan dirujuk sepanjang handbook ini, setiap komponen yang kamu lihat di sini akan dibahas secara mendalam di bab masing-masing.

Diagram di atas bukan sekadar ilustrasi, ia adalah peta kerja yang akan kamu bangun selama program ini. Setiap kotak mewakili sebuah keputusan teknis yang nyata: database mana yang dipilih, model embedding apa yang digunakan, bagaimana komponen-komponen ini berkomunikasi satu sama lain, dan bagaimana sistem bisa tetap berjalan ketika salah satu komponen mengalami masalah.

Yang penting dipahami dari diagram ini adalah bahwa sistem AI produksi bukan hanya "model + prompt". Ia adalah tumpukan komponen yang masing-masing memiliki tanggung jawab spesifik dan saling bergantung. Kegagalan di satu komponen, misalnya vector database yang lambat merespons, bisa mempengaruhi pengalaman pengguna secara keseluruhan meskipun model LLM-nya sendiri berfungsi dengan sempurna.

Inilah mengapa memahami sistem secara keseluruhan jauh lebih penting dari sekadar bisa memanggil API LLM.

Prospek Karir AI Engineer

Yang akan dibahas adalah gambaran yang lebih jujur: jalur karir apa yang realistis, kemampuan spesifik apa yang dibutuhkan setiap jalur, dan bagaimana posisi AI Engineer berbeda dari posisi lain yang terlihat serupa.

Ketiga jalur ini bukan mutually exclusive. Banyak AI Engineer yang memulai di jalur pertama, bekerja di perusahaan untuk membangun fondasi teknis dan memahami bagaimana sistem AI digunakan di skala nyata, sebelum beralih ke konsultasi atau membangun produk sendiri. Kemampuan yang dibangun di satu jalur sangat transferable ke jalur lainnya.