Künstliche Intelligenz muss längst nicht mehr nur in der Cloud laufen. Mit Gemma 4 hat Google DeepMind Ende März 2026 eine neue Modellfamilie veröffentlicht, die bewusst auch für lokale Setups interessant ist — vom Laptop bis zur stärkeren Workstation. Für viele Nutzer ist genau das der spannende Punkt: ein modernes LLM, das sich nicht nur in großen Rechenzentren, sondern auch auf dem eigenen Rechner testen und nutzen lässt.

Doch was ist Gemma 4 eigentlich genau? Und wie bringt man das Modell auf einem normalen Computer zum Laufen, ohne sich gleich eine Spezialhardware anschaffen zu müssen? Die gute Nachricht: Es gibt dafür inzwischen sehr praktikable Wege. Besonders einfach ist der Start mit Ollama. Wer mehr Kontrolle möchte, kann Gemma 4 auch direkt über die Shell ausführen, zum Beispiel mit llama.cpp oder über die Hugging-Face-Toolchain.

Installation in nur 8 Schritten

Installation über CLI

Gemma 4 ist Googles neue Generation offener Modelle mit frei verfügbaren Gewichten. Laut der offiziellen Dokumentation umfasst die Familie aktuell vier Größen: E2B, E4B, 26B A4B und 31B. Google beschreibt Gemma 4 als Modellreihe für Textgenerierung, Coding, Reasoning und multimodale Aufgaben. Je nach Variante unterstützt das Modell Text-, Bild- und Audio-Eingaben sowie lange Kontextfenster von 128K bis zu 256K Tokens.

Spannend ist dabei vor allem die strategische Ausrichtung: Während viele moderne KI-Modelle fast ausschließlich auf Cloud-Betrieb ausgelegt sind, positioniert Google Gemma 4 ausdrücklich auch für den lokalen Einsatz. In der offiziellen Model-Card heißt es, dass die unterschiedlichen Größen den Einsatz auf High-End-Smartphones, Laptops und Servern ermöglichen sollen. Damit richtet sich Gemma 4 nicht nur an Forschungsteams, sondern auch an Entwickler, Unternehmen und Power-User, die KI möglichst nah an ihren eigenen Daten betreiben möchten.

Hinzu kommen neue Fähigkeiten, die Gemma 4 für praktische Anwendungen attraktiver machen: Google verweist auf Thinking-Funktionen, nativen System-Prompt-Support und bessere Eignung für agentische Workflows. Auch Ollama beschreibt Gemma 4 als Modellfamilie für Reasoning, Coding, multimodales Verstehen und autonome Assistenz-Szenarien.

Wer Gemma 4 lokal ausprobieren möchte, sollte nicht automatisch zum größten Modell greifen. Für normale Desktop-PCs und Laptops sind vor allem die kleineren Edge-Varianten interessant: E2B und E4B. Ollama beschreibt diese beiden Modelle ausdrücklich als Edge-Modelle, also als Varianten für ressourcenschonendere lokale Einsätze. Die größeren Modelle 26B und 31B sind dagegen eher für leistungsfähigere Systeme gedacht.

In der Praxis bedeutet das: Wer einfach lokal testen, schreiben, zusammenfassen oder mit Prompts experimentieren möchte, startet am besten mit Gemma 4 E2B. Wer etwas mehr Reserven bei RAM oder GPU-Speicher hat, kann zu E4B greifen. Die 26B- und 31B-Varianten sind technisch ebenfalls lokal nutzbar, aber eher etwas für Workstations oder ambitionierte Setups.

Schritt 1: Lade Ollama herunter. Ollama ist ein kostenloses Programm, mit dem du KI-Modelle direkt auf deinem eigenen Computer nutzen kannst. Es funktioniert auch offline.

Schritt 2: Installation

Schritt 3: Nach der Installation, nichts weiter auswählen, nur die Seitenleiste einblenden.

Schritt 4: Chatfenster Auswählen

Schritt 5: Modell auswählen

Schritt 6: Modell suchen

Schritt 7: Gemma4 auswählen

Schritt 8: Schreib einfach ein „Hallo“, und das Modell wird automatisch runtergeladen, und die KI Antwortet :)