Laden Sie Ollama oder LM Studio herunter, wählen Sie ein Modell aus, und innerhalb weniger Minuten können Sie einen lokalen Chatbot starten. Dieser Dienst erfordert keine Abonnementgebühren und kann ohne Internetverbindung betrieben werden, wobei Ihre Daten nicht den Computer verlassen. Es gibt jedoch eine Einschränkung: Die Modelle, die Sie ausführen können, sowie deren Reaktionsgeschwindigkeit hängen vollständig von der Leistung Ihres Computers ab. Ein alltäglicher Computer mit 16GB RAM kann relativ kleine Modelle mit etwa sieben bis acht Milliarden Parametern ausführen, wie zum Beispiel Meta’s Llama 3.1 8B oder Alibaba’s Qwen3 8B, wobei eine Grafikkarte mit 8GB VRAM in der Lage ist, diese Modelle schneller auszuführen.
Diese Modelle haben jedoch im Vergleich zu den fortschrittlichen Modellen hinter heutigen ChatGPT oder Claude immer noch große Unterschiede. Wenn Sie ein Modell ausführen möchten, das näher an diesen Modellen ist, benötigen Sie mindestens 32GB RAM und eine Grafikkarte mit 16GB oder mehr VRAM, was bei den aktuellen Preisen nicht günstig ist.
Betriebsanforderungen für lokale Chatbot-Modelle
Der benötigte RAM für ein Modell ist nahezu linear proportional zu seiner Größe, die in Milliarden Parametern (B) gemessen wird. Die meisten Menschen verwenden komprimierte ("quantisierte") Versionen lokaler Modelle, bei denen jeder Parameter mit etwa vier Bits gespeichert wird, wodurch das Modell auf etwa ein Viertel seiner ursprünglichen Größe reduziert wird. In Ollama’s Bibliothek hat Llama 3.1 8B eine Größe von 4.9GB, Microsoft’s Phi-4 hat 9.1GB, Google’s Gemma 3 27B hat 17GB, während Meta’s Llama 3.3 70B 43GB groß ist.
Ollama’s allgemeine Regel besagt, dass ein 7B-Modell 8GB RAM benötigt, ein 13B-Modell 16GB und ein 33B-Modell 32GB. OpenAI’s gpt-oss-20b hat 21 Milliarden Parameter, verwendet jedoch nur 360 Millionen Parameter pro Token, was durch ein Design namens "Mixture of Experts" erreicht wird. Dies sorgt für schnelle Reaktionen, aber das Modell muss dennoch in den verfügbaren RAM passen. OpenAI gibt an, dass es "unter nur 16GB RAM betrieben werden kann", jedoch sind es in Ollama 14GB, was fast den gesamten RAM eines 16GB-Computers aufbraucht.
Zusammenhang zwischen Geschwindigkeit und Speicherbandbreite
Jedes Mal, wenn ein Modell ein Wort oder genauer gesagt ein Token generiert, muss es alle Parameter einzeln abrufen. Daher hängt die Geschwindigkeit hauptsächlich von der Speicherbandbreite ab und nicht von der ursprünglichen Verarbeitungsleistung. Ingenieure von Nvidia beschreiben diese Phase als "speicherbeschränkt". Die VRAM-Geschwindigkeit der Grafikkarten ist mehrere Male schneller als der RAM des restlichen Computers, weshalb Modelle, die auf der GPU betrieben werden können, viel schneller laufen, als wenn sie in den Systemspeicher ausgelagert werden. Als Faustregel gilt, dass eine Geschwindigkeit von fünf bis zehn Tokens pro Sekunde mit der Lesegeschwindigkeit der meisten Menschen Schritt halten kann.
In Tests von LMSYS wurde festgestellt, dass Nvidias RTX 5090 OpenAI’s gpt-oss-20b mit einer Geschwindigkeit von 205 Tokens pro Sekunde generieren kann. Im Vergleich dazu zeigt der Benchmark von llama.cpp, dass Apples Basis-M4-Chip bei 7B-Modellen etwa 24 Tokens pro Sekunde generieren kann.
Ollama testete Nvidias DGX Spark, einen AI-Entwicklungscomputer, der 3.999 US$ (ca. 31.199 HK$) kostet, und stellte fest, dass die Generierungsgeschwindigkeit bei Llama 3.1 8B 38 Tokens pro Sekunde beträgt, während die 70B-Version nur 4.42 Tokens pro Sekunde erreicht. Ich persönlich habe Mistral 7B auf einem 2024er Asus Zenbook Duo mit 32GB RAM und Intel AI Boost NPU betrieben.
Durch Ollama wurde die CPU-Auslastung von Mistral auf 52% getrieben, während die Speicherauslastung bei etwa 17GB lag. Diese Nutzung ist akzeptabel, aber wenn gleichzeitig andere speicherintensive Anwendungen laufen, kann dies die Geschwindigkeit des Laptops verlangsamen. Mit Intels OpenVINO-Toolkit hielt das Modell die NPU bei 98% Auslastung, während die CPU nur 3% betrug, und bei der Generierung von etwa 2.500 Wörtern (inhaltlich bedeutungslos) blieb der Laptop dennoch schnell reaktionsfähig.
In der Rangliste von Artificial Analysis im April 2026 erzielte Alibaba’s Qwen3.5 27B in ihrem Intelligent Index 42 Punkte, was mit OpenAI’s GPT-5 bei mittlerer Einstellung gleichauf ist, während Google’s Gemma 4 31B 39 Punkte erzielte. Die führenden fortschrittlichen Cloud-Modelle erreichten jedoch 57 Punkte, während Qwen3.5 27B 17GB bis 20GB RAM benötigt, was offensichtlich über die Kapazität eines 16GB-Computers hinausgeht.
Doch selbst die leistungsstärksten Computer können die Anforderungen an fortschrittliche Intelligenz nur schwer erfüllen. Moonshot’s Kimi K2.6 ist ein Modell mit 1 Billion Parametern, das bei seiner Einführung im April 2026 eines der besten offenen Gewichtmodelle war. Laut Unsloth benötigt es etwa 600GB RAM und VRAM-Kombination, und das Unternehmen veröffentlichte eine komprimierte Version des offenen Modells. Die Nachfolgeversion Kimi K3 erzielte im April 2026 im Artificial Analysis Intelligent Index 57 Punkte, nur hinter Anthropic’s Claude Fable 5 und OpenAI’s GPT-5.6 Sol.
Dieses Modell hat jedoch 2.8 Billionen Parameter, dessen Gewicht nur etwa 1.4TB beträgt. TECHi schätzt, dass dies kaum auf einem Server mit acht GPUs betrieben werden kann. Daher ist ein 16GB-Computer für gelegentliche private Zusammenfassungen oder etwas Offline-Programmierhilfe ausreichend. Wenn Sie jedoch die Funktionen eines alternativen Cloud-Chatbots nutzen möchten, benötigen Sie 32GB RAM oder eine 16GB-Grafikkarte. Laut Tom’s Hardware RAM-Preisindex kostet ein 32GB DDR5-Kit 434 US$ (ca. 3.385 HK$), was fast dem monatlichen Preis von 20 US$ (ca. 156 HK$) für ChatGPT Plus oder Claude Pro entspricht.
Die Abonnementkosten summieren sich in den letzten zwei Jahren. Dennoch müssen alle Anforderungen, die in die Nähe der Spitzenleistung gehen, weiterhin auf Rechenzentren angewiesen sein.
Artikel Spezifikationen RAM 16GB / 32GB Grafikkarten VRAM 8GB / 16GB Modellgröße 4.9GB (Llama 3.1 8B) Generierungsgeschwindigkeit 38 Tokens pro Sekunde (DGX Spark) Preis 3.999 US$ (ca. 31.199 HK$)

