ข้อกำหนดด้านฮาร์ดแวร์คอมพิวเตอร์ที่จำเป็นสำหรับการรันโมเดล AI ในท้องถิ่น

ดาวน์โหลด Ollama หรือ LM Studio เลือกโมเดลหนึ่งตัว คุณสามารถเริ่มต้นการสนทนากับหุ่นยนต์ในท้องถิ่นได้ภายในไม่กี่นาที บริการนี้ไม่ต้องเสียค่าบริการรายเดือน และสามารถทำงานได้โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต ข้อมูลของคุณจะไม่ถูกส่งออกจากคอมพิวเตอร์ อย่างไรก็ตาม มีข้อจำกัดอยู่: โมเดลที่คุณสามารถรันและความเร็วในการตอบสนองขึ้นอยู่กับประสิทธิภาพของคอมพิวเตอร์ของคุณ คอมพิวเตอร์ทั่วไปที่มี RAM 16GB สามารถรันโมเดลขนาดเล็กที่มีพารามิเตอร์ประมาณ 7-8 หมื่นล้าน เช่น Meta Llama 3.1 8B หรือ Qwen3 8B ของ Alibaba และการ์ดจอที่มี VRAM 8GB สามารถรันโมเดลเหล่านี้ได้อย่างรวดเร็ว

แต่โมเดลเหล่านี้ยังคงมีช่องว่างมากเมื่อเปรียบเทียบกับโมเดลชั้นนำในปัจจุบัน เช่น ChatGPT หรือ Claude หากต้องการรันโมเดลที่ใกล้เคียงมากขึ้น จะต้องมี RAM อย่างน้อย 32GB และการ์ดจอที่มี VRAM 16GB หรือมากกว่า ซึ่งในราคาปัจจุบันถือว่าไม่ถูก

ข้อกำหนดในการรันโมเดลหุ่นยนต์ในท้องถิ่น

หน่วยความจำที่ต้องการสำหรับโมเดลมีความสัมพันธ์เชิงเส้นกับขนาดของโมเดล ซึ่งขนาดนี้จะคำนวณเป็นพันล้านพารามิเตอร์ (B) โดยทั่วไปผู้ใช้จะรันเวอร์ชันที่ถูกบีบอัด ("Quantized") ของโมเดลในท้องถิ่น ซึ่งแต่ละพารามิเตอร์จะถูกเก็บในรูปแบบประมาณ 4 บิต ทำให้โมเดลมีขนาดเล็กลงประมาณหนึ่งในสี่ของขนาดเดิม ในคลังของ Ollama ขนาดของ Llama 3.1 8B อยู่ที่ 4.9GB, Phi-4 ของ Microsoft มีขนาด 9.1GB, Gemma 3 27B ของ Google มีขนาด 17GB และ Llama 3.3 70B ของ Meta มีขนาด 43GB

หลักการทั่วไปของ Ollama คือ โมเดล 7B ต้องการ RAM 8GB, โมเดล 13B ต้องการ RAM 16GB, โมเดล 33B ต้องการ RAM 32GB OpenAI gpt-oss-20b มีพารามิเตอร์ 21 พันล้าน แต่ใช้พารามิเตอร์เพียง 3.6 พันล้านต่อแท็ก ซึ่งทำได้ผ่านการออกแบบที่เรียกว่า "Expert Mixture" ทำให้มันตอบสนองได้รวดเร็ว แต่โมเดลยังต้องเหมาะสมกับหน่วยความจำที่มีอยู่ OpenAI ระบุว่าสามารถ "รันได้ใน RAM 16GB" แต่ใน Ollama ต้องใช้ RAM 14GB ซึ่งเกือบจะใช้หน่วยความจำทั้งหมดของคอมพิวเตอร์ 16GB

ความสัมพันธ์ระหว่างความเร็วในการรันและแบนด์วิธของหน่วยความจำ

ทุกครั้งที่โมเดลสร้างคำ หรือพูดให้ถูกต้องคือแท็ก มันจะต้องเรียกดูพารามิเตอร์ทั้งหมดทีละตัว ดังนั้นความเร็วจึงขึ้นอยู่กับแบนด์วิธของหน่วยความจำเป็นหลัก ไม่ใช่ความสามารถในการประมวลผลดั้งเดิม วิศวกรของ Nvidia อธิบายขั้นตอนนี้ว่าเป็น "หน่วยความจำที่ถูกจำกัด" ความเร็วของ VRAM ของการ์ดจอจะเร็วกว่าหน่วยความจำ RAM ของคอมพิวเตอร์หลายเท่า ดังนั้นโมเดลที่สามารถทำงานบน GPU จะทำงานได้เร็วกว่าเมื่อเปรียบเทียบกับการใช้หน่วยความจำระบบ โดยทั่วไปแล้วความเร็วในการสร้างแท็กประมาณ 5 ถึง 10 แท็กต่อวินาทีจะสามารถตามทันความเร็วในการอ่านของผู้ใช้ส่วนใหญ่

ในการทดสอบของ LMSYS พบว่า RTX 5090 ของ Nvidia สามารถสร้างข้อความจาก gpt-oss-20b ของ OpenAI ได้ที่ความเร็ว 205 แท็กต่อวินาที ในขณะที่การทดสอบ llama.cpp แสดงให้เห็นว่า M4 ของ Apple สามารถสร้างแท็กได้ประมาณ 24 แท็กต่อวินาทีในโมเดล 7B

Ollama ทดสอบ DGX Spark ของ Nvidia ซึ่งเป็นคอมพิวเตอร์พัฒนา AI ที่มีราคา US$3,999 (ประมาณ HK$31,199) โดยมีความเร็วในการสร้างที่ 38 แท็กต่อวินาทีใน Llama 3.1 8B แต่ในเวอร์ชัน 70B มีความเร็วเพียง 4.42 แท็กต่อวินาที ฉันเคยรัน Mistral 7B บน Asus Zenbook Duo ปี 2024 ที่มี RAM 32GB และ Intel AI Boost NPU

ผ่าน Ollama Mistral ทำให้การใช้ CPU สูงถึง 52% และการใช้หน่วยความจำอยู่ที่ประมาณ 17GB สถานการณ์การใช้งานนี้ยังถือว่าพอใช้ได้ แต่หากมีแอปพลิเคชันอื่นที่ต้องการทรัพยากรสูงทำงานพร้อมกัน จะทำให้ความเร็วของโน้ตบุ๊กช้าลง การใช้เครื่องมือ OpenVINO ของ Intel โมเดลนี้จะทำให้ NPU ทำงานที่ 98% ในขณะที่ CPU ทำงานเพียง 3% ในการสร้างข้อความประมาณ 2,500 คำ (เนื้อหาที่ไม่มีความหมาย) โน้ตบุ๊กยังคงตอบสนองได้อย่างรวดเร็ว

ในการจัดอันดับของ Artificial Analysis ในเดือนเมษายน 2026 Qwen3.5 27B ของ Alibaba ประเทศจีนได้คะแนน 42 ในดัชนีอัจฉริยะ ซึ่งเทียบเท่ากับ GPT-5 ของ OpenAI ในการตั้งค่าปานกลาง ในขณะที่ Gemma 4 31B ของ Google ได้คะแนน 39 อย่างไรก็ตาม โมเดลคลาวด์ชั้นนำมีคะแนนสูงถึง 57 และ Qwen3.5 27B ต้องการ RAM 17GB ถึง 20GB ซึ่งชัดเจนว่าเกินขีดความสามารถของคอมพิวเตอร์ 16GB

แต่แม้แต่คอมพิวเตอร์ที่ทรงพลังที่สุดก็ยังสามารถตอบสนองความต้องการของอัจฉริยะชั้นนำได้อย่างยากลำบาก Kimi K2.6 ของ Moonshot เป็นโมเดลที่มีพารามิเตอร์ 1 ล้าน ซึ่งเปิดตัวในเดือนเมษายน 2026 เป็นหนึ่งในโมเดลที่ดีที่สุดที่มีน้ำหนักเปิดตามข้อมูลของ Unsloth โดยต้องการ RAM และ VRAM รวมประมาณ 600GB บริษัทได้ปล่อยเวอร์ชันบีบอัดของโมเดลเปิด ตัวรุ่นถัดไป Kimi K3 ได้คะแนน 57 ในดัชนีอัจฉริยะของการวิเคราะห์ AI ในเดือนกรกฎาคม 2026 โดยอยู่ในอันดับรองจาก Claude Fable 5 ของ Anthropic และ GPT-5.6 Sol ของ OpenAI

อย่างไรก็ตาม โมเดลนี้มีพารามิเตอร์ 2.8 ล้าน ซึ่งน้ำหนักของมันคำนวณได้ประมาณ 1.4TB TECHi ประเมินว่ามันแทบจะไม่สามารถทำงานบนเซิร์ฟเวอร์ศูนย์ข้อมูลที่มี GPU แปดตัวได้ ดังนั้นสำหรับการสรุปส่วนตัวหรือการช่วยโปรแกรมบางอย่างแบบออฟไลน์ คอมพิวเตอร์ 16GB ก็เพียงพอ หากต้องการใช้ฟังก์ชันที่สามารถทดแทนหุ่นยนต์สนทนาบนคลาวด์ จะต้องมี RAM 32GB หรือการ์ดจอ 16GB ตามดัชนีราคาหน่วยความจำของ Tom's Hardware ชุด DDR5 ขนาด 32GB จะมีราคา US$434 (ประมาณ HK$3,385) ซึ่งเกือบเท่ากับค่าใช้จ่ายรายเดือน US$20 (ประมาณ HK$156) สำหรับ ChatGPT Plus หรือ Claude Pro

ซึ่งเป็นค่าใช้จ่ายที่ใกล้เคียงกับการสมัครสมาชิกในช่วงสองปีที่ผ่านมา อย่างไรก็ตาม ความต้องการที่ใกล้เคียงกับระดับชั้นนำยังคงต้องพึ่งพาศูนย์ข้อมูล