Ollama または LM Studio をダウンロードし、モデルを選択すれば、数分以内にローカルチャットボットを起動できます。このサービスはサブスクリプション料金が不要で、インターネット接続なしで動作し、データはコンピュータから外に出ることはありません。しかし、制限があります:実行できるモデルとその応答速度は完全にコンピュータの性能に依存します。16GB RAM を搭載した一般的なコンピュータでは、約70億から80億パラメータの比較的小さなモデル、例えば Meta の Llama 3.1 8B や Alibaba の Qwen3 8B を実行でき、8GB VRAM のグラフィックカードを搭載すれば、これらのモデルをより速く実行できます。
しかし、これらのモデルは今日の ChatGPT や Claude の背後にある最先端モデルと比較すると、まだ大きな差があります。より近いモデルを実行したい場合は、少なくとも32GBのメモリと16GB以上のVRAMを搭載したグラフィックカードが必要であり、現在の価格では安くはありません。
ローカルチャットボットモデルの実行要件
モデルに必要なメモリは、そのサイズにほぼ線形比例します。このサイズは十億パラメータ(B)で計算されます。ほとんどの人が実行しているのは圧縮(「量子化」)版のローカルモデルで、各パラメータは約4ビットで保存され、モデルはその元のサイズの約4分の1に縮小されます。Ollama のライブラリでは、Llama 3.1 8B のサイズは4.9GB、Microsoft の Phi-4 は9.1GB、Google の Gemma 3 27B は17GB、Meta の Llama 3.3 70B は43GBです。
Ollama の一般的な原則として、7B モデルには8GB RAM、13B モデルには16GB、33B モデルには32GBが必要です。OpenAI の gpt-oss-20b は210億パラメータを持っていますが、各トークンはわずか3.6億パラメータを使用しており、これは「専門家混合」と呼ばれる設計によって実現されています。これにより反応が迅速になりますが、モデルは依然として利用可能なメモリに適合する必要があります。OpenAI は「わずか16GBのメモリで実行可能」と述べていますが、Ollama では14GBを必要とし、ほぼ16GBのコンピュータのすべてのメモリを使い切っています。
実行速度とメモリ帯域幅の関係
モデルが単語を生成するたびに、正確にはトークンを生成するたびに、すべてのパラメータを一つずつ取得する必要があります。したがって、速度は主にメモリ帯域幅に依存し、原始的な処理能力には依存しません。Nvidia のエンジニアはこの段階を「メモリ制約」と表現しています。グラフィックカードの VRAM の速度はコンピュータの他の部分の RAM よりも数倍速いため、GPU 上で実行できるモデルは、システムメモリに溢れ出すよりもはるかに速く動作します。経験則として、毎秒5から10トークンを生成する速度は、大多数の人の読書速度に追いつくことができます。
LMSYS のテストでは、Nvidia の RTX 5090 が毎秒205トークンの速度で OpenAI の gpt-oss-20b テキストを生成できることがわかりました。それに対して、llama.cpp のベンチマークでは、Apple の基本 M4 チップが7Bモデルで毎秒約24トークンを生成できることが示されています。
Ollama は Nvidia の DGX Spark をテストしました。この価格は US$3,999 (約 HK$31,199) で、Llama 3.1 8B での生成速度は毎秒38トークンであり、70B バージョンではわずか4.42トークンでした。私は個人的に、32GB RAM と Intel AI Boost NPU を搭載した2024年の Asus Zenbook Duo で Mistral 7B を実行しました。
Ollama を通じて、Mistral は CPU 使用率を52%に押し上げ、メモリ使用率は約17GBでした。この使用状況は許容範囲ですが、他に要求の高いアプリケーションが同時に実行されると、ノートパソコンの速度が低下します。Intel の OpenVINO ツールキットを使用すると、このモデルは NPU の使用率を98%に保ち、CPU はわずか3%で、約2,500字(無意味な内容)を生成する際にもノートパソコンは迅速に応答し続けました。
Artificial Analysis の2026年4月のランキングによると、中国の Alibaba の Qwen3.5 27B はそのインテリジェンス指数で42点を獲得し、OpenAI の GPT-5 と中程度の設定で同等であり、Google の Gemma 4 31B は39点でした。しかし、最先端のクラウドモデルは57点に達しており、Qwen3.5 27B は17GBから20GBのメモリを必要とし、これは明らかに16GBのコンピュータの許容範囲を超えています。
しかし、最も強力なコンピュータでも最先端のインテリジェンスの要求を満たすのはやっとです。Moonshot の Kimi K2.6 は1兆パラメータを持つモデルで、2026年4月に発売された際には最良のオープンウェイトモデルの一つでした。Unsloth のデータによると、その実行には約600GBのRAMとVRAMの組み合わせが必要であり、同社は圧縮版のオープンモデルを発表しました。その後継版 Kimi K3 は2026年7月の人工分析インテリジェンス指数で57点を獲得し、Anthropic の Claude Fable 5 と OpenAI の GPT-5.6 Sol に次ぐものでした。
しかし、このモデルは2.8兆パラメータを持ち、その重みは約1.4TBと計算され、TECHi はこれを八つのGPUデータセンターサーバーで実行するのはほぼ不可能だと見積もっています。したがって、時折のプライベートな要約やオフラインプログラミングの支援には、16GBのコンピュータで十分です。代替のクラウドチャットボット機能を使用したい場合は、32GB RAM または16GBのグラフィックカードが必要です。Tom's Hardware の RAM 価格指数によると、32GBのDDR5キットは US$434 (約 HK$3,385) かかり、これはほぼ毎月 US$20 (約 HK$156) の ChatGPT Plus または Claude Pro のサブスクリプション料金に相当します。
このサブスクリプション料金は、過去2年間の支出に近いです。しかし、最先端の要求に近づくには、依然としてデータセンターに依存する必要があります。
項目 規格 RAM 16GB / 32GB グラフィックカード VRAM 8GB / 16GB モデルサイズ 4.9GB (Llama 3.1 8B) 生成速度 毎秒 38 トークン (DGX Spark) 価格 US$3,999 (約 HK$31,199)

