3 günstige Hardware-Lösungen für lokale KI-Agenten im Unternehmen
Ihr Entwickler hat seit drei Wochen einen KI Codeing-Agenten am Laufen – und der Verbrauch liegt bei 800€ im Monat. Für was genau? Niemand weiß es.
Genau dieses ungute Gefühl kennen viele KMU-Entscheider: Die Cloud-KI kostet Geld, liefert Ergebnisse – aber niemand rechtfertigt den Aufwand wirklich. Der spezifische Wettbewerbsvorteil schwindet, weil alle das selbe Modell nutzen.
In diesem Artikel zeigen wir konkret, wie Sie die Kontrolle zurückgewinnen – mit drei getesteten Hardware-Konfigurationen für unter 2000€, die Ihre Daten im Haus halten und trotzdem auf einem (fast) ähnlichen Niveau arbeiten wie die großen Cloud-Anbieter.
Ist der On-Premise alias "KI-David" bereit, der Cloud alias KI-Goliat gegenüberzutreten?
- Die wahren Kosten treiben die Token. Bei intensivem Einsatz von Coding-Agenten können sich schnell mehrere Millionen verbrauchte Token im Monat ansammeln. Das ist zwar immer noch deutlich günstiger als ein Entwickler – aber: 15–20% der KI-Ergebnisse müssen nachkorrigiert werden.
- KI fungiert als Verbreiter von Wissen. Jeder hat Zugang zu denselben Modellen, das bedeutet: Der spezifische Wettbewerbsvorteil (der sogenannte Burggraben) wird immer weniger exklusiv. Es gibt CEOs, die Cloud-KIs ihr innerstes offenbaren und sich nach dem nächsten Modellupdate über die neuen Fähigkeiten der Marktbegleiter wundern.
Cloud-KI-Aufrufe erzeugen pro Monat nicht selten 200 € an Kosten pro Standard-Anwender – die meisten Unternehmen benutzen KI immer noch wie Wikipedia. Selbst wir haben letztens für ein einfaches Redesign der Webseite 12 € an Token verbraten und mussten anschließend trotzdem Bug-Fixes durchführen. Hätten wir dafür Claude Opus 4.8 als KI-Modell verwendet, wären die Kosten 100 € gewesen.
Drei Hardware-Konfigurationen für den Einstieg
Drei Hardware-Konfigurationen, die für den unteren Entry-Bereich (1–10 Mitarbeiter) Sinn ergeben und unter 2000 € an Hardware-Kosten sowie maximal 35 €/Monat Betriebskosten verursachen.
| Konfiguration 1 | Konfiguration 2 | Konfiguration 3 | |
| Ausstattung | 2× RTX 3060 – 12 GB | 2× RTX 5060 Ti – 16 GB | Radeon AI PRO R9700 – 32 GB |
| VRAM | 24 GB | 32 GB | 32 GB |
| Hardware-Kosten | ca. 1000 € | ca. 1700 € | ca. 2000 € |
| Strom-Kosten/Jahr | ca. 400 € | ca. 350 € | ca. 300 € |
Aktuell gibt es unserer Meinung nach nur fünf KI-Modelle, die für agentische Aufgaben auf allen drei Konfigurationen laufen:
- Qwen3.6-27B
- Gemma4-31B
- Qwen3.6-35B-A3B
- Gemma4-26B-A4B
- Ornith-1.0-35B-A3B
Damit Sie die Leistungsfähigkeit dieser lokalen KI-Modelle besser einordnen können, dient folgende Vergleichsgrafik:
Quelle: https://artificialanalysis.ai/models?intelligence=agentic-index - Abruf am 07.07.2026
Wie Sie erkennen können, sind lokale Modelle nicht annähernd so leistungsfähig wie die aktuellen Frontier-Modelle der Cloud-Anbieter. Beim GLM-5.2 handelt es sich um ein sogenanntes OpenWeight-Modell und könnte grundsätzlich auch lokal betrieben werden. Dafür bräuchten Sie jedoch ein System mit 16× Radeon AI PRO R9700 GPUs, damit Sie es in den VRAM-Speicher laden können – was aufgrund der Speicherbandbreite (640 GB/s) eher einem Abenteuer gleichkommt. Für solche Anwendungsfälle wird auf andere Hardware zurückgegriffen, die Kosten in fünfstelliger Höhe mit sich bringt.
Wie schlägt sich der KI-David in der Praxis?
Neben der reinen Fix-Hardware spielen drei weitere Faktoren eine Rolle, damit ein ernstzunehmender Einsatz von lokaler KI in Betracht gezogen werden kann:
Verarbeitungsgeschwindigkeit
Es macht keinen Sinn, wenn Ihr KI-David ewig Zeit benötigt, um eine Aufgabe zu bewältigen. Wir haben in unseren lokalen KI-Systemen eine strikte Ampel-Bewertung:
- Grün: Alle KI-Inferenzen mit ≥50 Token/s – praktisch gut nutzbar.
- Gelb: 25–50 Token/s – akzeptabel.
- Rot: Unter 25 Token/s – deutliche Wartezeiten bei der Aufgabenbewältigung.
Stromverbrauch im Idle und unter Last
Ihr KI-David wird sicher nicht dauernd mit Anfragen bombardiert, und in dieser Zeit soll er natürlich auch keine Heizung ersetzen. Die drei vorgestellten Systeme lassen sich problemlos mit einem 600-Watt-Netzteil betreiben. Unter KI-Last rufen sie maximal 300–350 Watt ab. Im Idle-Modus landen wir bei allen Konfigurationen bei unter 50 Watt. Doch unter Last sieht es noch interessanter aus, wenn wir die Leistung der Radeon AI PRO R9700 limitieren:
Deutlich erkennbar: Eine Limitierung der Leistungsaufnahme hat keinen nennenswerten Einfluss auf die Token-Ausgabe. Eine Reduktion um 30 % kostet nur 5 % Geschwindigkeit bei der Token-Ausgabe.
| Watt | T/s |
| 210 | 69 |
| 230 | 70 |
| 250 | 71 |
| 270 | 72 |
| 290 | 73 |
| 300 | 73 |
Quantifizierung und Modell-Intelligenz
LLMs werden standardmäßig auf Basis von 16 Bit trainiert – das bedeutet, ein Parameter kann 2¹⁶ = 65.536 verschiedene Werte annehmen. Um VRAM-Speicherplatz zu sparen, wird die Genauigkeit reduziert. Moderne Quantifizierungsmethoden sorgen dafür, dass unwichtige Parameter quantisiert werden und relevante hingegen nicht:
| Quantifizierung | VRAM-Bedarf | Qualitätsverlust |
| 16 Bit | 100 % | keiner |
| 8 Bit | ca. 50 % | mind. 99 % Originalqualität |
| 6 Bit | ca. 38 % | mind. 98 % Originalqualität |
| 4 Bit | ca. 25 % | mind. 95 % Originalqualität |
| 2 Bit | ca. 13 % | mind. 70 % Originalqualität |
Wie im richtigen Leben gilt: Für jeden Einsatzzweck gibt es den richtigen Kompromiss. Für den Einsatz als KI-Agent kommen Logik, Präzision, großer Kontext, sichere Tool-Nutzung und hohe Reasoning-Qualität zum Tragen. Für den Home-Bereich sind 4 Bit (Bronze-Standard) noch akzeptabel – für den professionellen Business-Einsatz greifen wir auf 8 Bit (Gold-Standard) zurück. Aus unserer aktuellen Erfahrung mit KI-Agenten sind 6-Bit (Silber-Standard) aktuell der Sweet-Spot für agentische Systeme: Bei 4 Bit ist die Qualität zu schwach, bei 8 Bit steigen die Hardware-Anforderungen deutlich.
Fehler summieren sich von Schritt zu Schritt – ähnlich wie beim Spiel "Stille Post". Wenn in jedem einzelnen Schritt – von der Kundenanfrage über Angebotsabgabe, Auftragsbestätigung bis zur Rechnungslegung – 5 % Qualitätsverlust entstehen, kommt am Ende Chaos heraus:
| Prozess-Schritte | mögl. QV bei 4 Bit | mögl. QV bei 6 Bit | mögl. QV bei 8 Bit |
| 1 | 5 % | 2 % | 1 % |
| 2 | 9,75 % | 3,96 % | 1,99 % |
| 3 | 14,26 % | 5,88 % | 2,97 % |
| 5 | 22,62 % | 9,61 % | 4,90 % |
| 10 | 40,13 % | 18,29 % | 9,56 % |
Wir haben die fünf lokalen KI-Modelle auf den drei Entry-Konfigurationen mit 4 Bit und 6 Bit Quantifizierung mit Ollama getestet. Um konstante Vergleichbarkeit zu gewährleisten, wurde jeweils dreimal derselbe Prompt (512 Token) hintereinander an die Modelle gesendet:
| Modell | 2× RTX 3060 (T/s) | 2× RTX 5060 Ti (T/s) | Radeon AI PRO R9700 (T/s) |
| Qwen3.6-27B-Q4 | 18–19 | 22–23 | 27–29 |
| Gemma4-31B-Q4 | 2–3 | 6–7 | 24–25 |
| Qwen3.6-35B-A3B-Q4 | 56–58 | 112–115 | 68–71 |
| Gemma4-26B-A4B-Q4 | 65–67 | 106–110 | 69–70 |
| Ornith-1.0-35B-A3B-Q4 | 67–70 | 107–115 | 69–72 |
| Qwen3.6-27B-Q6 | 2–3 | 7–8 | 20–22 |
| Gemma4-31B-Q6 | zu groß | 1–2 | 4–5 |
| Qwen3.6-35B-A3B-Q6 | zu groß | 62–63 | 69–72 |
| Gemma4-26B-A4B-Q6 | 22–24 | 74–75 | 66–68 |
| Ornith-1.0-35B-A3B-Q6 | zu groß | 68–71 | 69–73 |
Ab wann rechnet sich der lokale Server?
Das leistungsfähigste getestete Modell war Ornith-1.0-35B-A3B-Q6 mit einer Ausgabe von weit über 50 Token pro Sekunde – es bewegt sich im Bereich agentischer Use Cases auf einem ähnlichen Niveau wie Grok-4.3, der derzeit ca. 2,2 € pro 1 Mio. Output-Token kostet. Bezüglich Intelligenz kommt es natürlich nicht an Grok-4.3 heran.
Mit einer der beiden 32-GB-VRAM-Konfigurationen schaffen wir mit Ornith-1.0-35B-A3B-Q6 ca. 70 Token/s → 252.000 Token/h → ~6 Mio./Tag. Bei realistischer Auslastung von 25 % sind das ~1,5 Mio. Token/Tag. Damit amortisieren sich die Anschaffungskosten von 1700–2000 € nach ca. 520–610 Tagen.
Fazit
Alle drei Konfigurationen eignen sich grundsätzlich als Einstieg für eine KI-Agenten-Plattform. Die 2× RTX 3060 ist bezüglich Leistung und VRAM mittlerweile in die Jahre gekommen – für einfache agentische Aufgaben reicht sie aber (noch) aus. Für anspruchsvollere Aufgaben sind 6-Bit-Modelle der bevorzugte Kompromiss. Wir selbst setzen das auf Basis von Qwen-3.6-35B-A3B optimierte Ornith-1.0-35B-A3B-Q6 für unsere KI-Agenten ein. Bei umfangreichen Entwicklungsprojekten hinken lokale Modelle den Frontier-Modellen der Cloud-Anbieter zwar noch hinterher – für viele Unternehmensanwendungen sind sie aber bereits jetzt praktikabel.
Interessiert an lokaler KI für Ihr Unternehmen? → Jetzt unverbindlich beraten lassen
FAQ – Häufig gestellte Fragen
Ab wann rechnet sich ein lokaler Server gegenüber Cloud-KI?
Ab einem Bedarf von ca. 500 Mio. Token/Jahr amortisiert sich die Investition – bei unseren getesteten Systemen nach ca. 18–20 Monaten. Aktuelle Kostentreiber: Strom- und Speicherpreise.
Bleiben unsere Daten wirklich im Haus?
Ja. Lokale Modelle haben keinen ausgehenden Datenlink zu externen Rechenzentren. Zu Telemetrie-Verbindungen sind uns aktuell keine Fälle bekannt und könnten zudem einfach über Firewall-Rules unterbunden werden.
Kann die lokale KI selbstständig Aufgaben erledigen?
Ja. KI-Agenten planen und führen definierte Aufgaben autonom aus – zeit- oder ereignisgesteuert, mit minimalem menschlichem Eingriff.
Go Back