Persyaratan perangkat keras komputer untuk menjalankan model AI secara lokal

·oleh Henderson·AI
Persyaratan perangkat keras komputer untuk menjalankan model AI secara lokal

Unduh Ollama atau LM Studio, pilih model, dan dalam beberapa menit Anda dapat memulai chatbot lokal. Layanan ini tidak memerlukan biaya langganan, dapat berjalan tanpa koneksi internet, dan data Anda tidak akan meninggalkan komputer. Namun, ada satu batasan: model yang dapat Anda jalankan dan kecepatan responsnya sepenuhnya tergantung pada kinerja komputer Anda. Komputer sehari-hari dengan RAM 16GB dapat menjalankan model yang relatif kecil dengan sekitar tujuh hingga delapan puluh miliar parameter, seperti Meta Llama 3.1 8B atau Qwen3 8B dari Alibaba, dan kartu grafis dengan 8GB VRAM dapat menjalankan model-model ini dengan lebih cepat.

Namun, model-model ini masih jauh dari model-model canggih yang mendukung ChatGPT atau Claude saat ini. Jika Anda ingin menjalankan model yang lebih mendekati, Anda memerlukan setidaknya 32GB RAM dan kartu grafis dengan 16GB VRAM atau lebih, yang tidak murah pada harga saat ini.

Persyaratan untuk menjalankan model chatbot lokal

Memori yang diperlukan oleh model hampir sebanding secara linier dengan ukurannya, yang dihitung dalam miliar parameter (B). Sebagian besar orang menjalankan versi lokal model yang terkompresi ("kuantisasi"), di mana setiap parameter disimpan dengan sekitar empat bit, mengurangi ukuran model menjadi sekitar seperempat dari ukuran aslinya. Dalam perpustakaan Ollama, ukuran Llama 3.1 8B adalah 4.9GB, Phi-4 dari Microsoft adalah 9.1GB, Google Gemma 3 27B adalah 17GB, sementara Llama 3.3 70B dari Meta adalah 43GB.

Prinsip umum Ollama adalah bahwa model 7B memerlukan 8GB RAM, model 13B memerlukan 16GB, dan model 33B memerlukan 32GB. OpenAI gpt-oss-20b memiliki 21 miliar parameter, tetapi setiap token hanya menggunakan 360 juta parameter, yang dicapai melalui desain yang disebut "campuran ahli". Ini membuatnya responsif, tetapi model tetap harus sesuai dengan memori yang tersedia. OpenAI menyatakan bahwa ia dapat "berjalan dengan hanya 16GB memori", tetapi di Ollama membutuhkan 14GB, hampir menghabiskan semua memori 16GB komputer.

Hubungan antara kecepatan operasi dan bandwidth memori

Setiap kali model menghasilkan satu kata, atau lebih tepatnya satu token, ia harus mengambil semua parameter satu per satu. Oleh karena itu, kecepatan terutama tergantung pada bandwidth memori, bukan pada kekuatan pemrosesan mentah. Insinyur Nvidia menggambarkan tahap ini sebagai "terbatas oleh memori". Kecepatan VRAM kartu grafis jauh lebih cepat daripada RAM bagian lain dari komputer, sehingga model yang dapat dijalankan di GPU jauh lebih cepat daripada yang melimpah ke memori sistem. Sebagai aturan praktis, kecepatan menghasilkan lima hingga sepuluh token per detik dapat mengikuti kecepatan membaca kebanyakan orang.

Dalam pengujian LMSYS, RTX 5090 dari Nvidia ditemukan dapat menghasilkan teks OpenAI gpt-oss-20b dengan kecepatan 205 token per detik. Sebagai perbandingan, pengujian benchmark llama.cpp menunjukkan bahwa chip dasar M4 dari Apple dapat menghasilkan sekitar 24 token per detik pada model 7B.

Ollama menguji Nvidia DGX Spark, komputer pengembangan AI seharga US$3,999 (sekitar HK$31,199), yang menghasilkan kecepatan 38 token per detik pada Llama 3.1 8B, sementara pada versi 70B hanya 4.42. Secara pribadi, saya pernah menjalankan Mistral 7B pada Asus Zenbook Duo 2024 yang dilengkapi dengan 32GB RAM dan Intel AI Boost NPU.

Melalui Ollama, Mistral mendorong penggunaan CPU hingga 52%, dengan penggunaan memori sekitar 17GB. Penggunaan ini masih dapat diterima, tetapi jika ada aplikasi lain yang memerlukan sumber daya tinggi berjalan bersamaan, itu akan memperlambat kecepatan laptop. Dengan menggunakan paket alat Intel OpenVINO, model ini mempertahankan penggunaan NPU pada 98%, sementara CPU hanya 3%, dan saat menghasilkan sekitar 2,500 kata (konten tidak berarti), laptop tetap responsif.

Dalam peringkat Artificial Analysis pada April 2026, Qwen3.5 27B dari Alibaba di Tiongkok mencetak 42 dalam indeks kecerdasannya, setara dengan OpenAI GPT-5 pada pengaturan menengah, sementara Google Gemma 4 31B mencetak 39. Namun, model-model cloud canggih terkemuka mencetak hingga 57, dan Qwen3.5 27B memerlukan 17GB hingga 20GB memori, yang jelas melebihi kapasitas komputer 16GB.

Namun, bahkan komputer paling kuat pun hanya dapat memenuhi kebutuhan kecerdasan canggih dengan susah payah. Kimi K2.6 dari Moonshot adalah model dengan 1 triliun parameter, yang diluncurkan pada April 2026 sebagai salah satu model dengan bobot terbuka terbaik, menurut data Unsloth, yang memerlukan sekitar 600GB kombinasi RAM dan VRAM untuk dijalankan, dan perusahaan tersebut merilis versi model terbuka yang terkompresi. Versi penerusnya, Kimi K3, mencetak 57 dalam indeks kecerdasan analisis buatan pada Juli 2026, hanya kalah dari Claude Fable 5 dari Anthropic dan GPT-5.6 Sol dari OpenAI.

Namun, model ini memiliki 2.8 triliun parameter, dengan bobot yang dihitung sekitar 1.4TB, yang menurut TECHi hampir tidak dapat dijalankan di server pusat data dengan delapan GPU. Oleh karena itu, untuk ringkasan pribadi sesekali atau beberapa bantuan pemrograman offline, komputer 16GB sudah cukup. Jika ingin menggunakan fungsi chatbot cloud alternatif, Anda memerlukan 32GB RAM atau kartu grafis 16GB. Menurut indeks harga RAM Tom's Hardware, paket DDR5 32GB saja harganya US$434 (sekitar HK$3,385), hampir setara dengan biaya bulanan US$20 (sekitar HK$156) untuk ChatGPT Plus atau Claude Pro.

Biaya langganan tersebut hampir sama dengan pengeluaran selama dua tahun terakhir. Namun, untuk kebutuhan yang mendekati canggih, masih harus bergantung pada pusat data.

ItemSpesifikasi
RAM16GB / 32GB
VRAM Kartu Grafis8GB / 16GB
Ukuran Model4.9GB (Llama 3.1 8B)
Kecepatan Generasi38 token per detik (DGX Spark)
HargaUS$3,999 (sekitar HK$31,199)

H
Tentang penulis
Henderson