Kurz gesagt
Ein LLM selbst zu hosten heißt, ein offenes Sprachmodell auf einem Server mit Grafikkarte zu betreiben, der nur für Ihr Haus arbeitet. In verdichteter Fassung genügen 96 GB Speicher für ein großes offenes Modell mit rund 120 Milliarden Parametern, 24 GB für ein kleines mit rund 20 Milliarden. Der Preis steht fest, die Inhalte verlassen den Server nicht.
Offene Modelle wie GPT OSS, die Sie selbst betreiben dürfen
Neben den großen Modellen beim Anbieter gibt es offene Modelle, die jede Firma auf eigenen Servern betreiben darf. Ein Beispiel sind die Modelle GPT OSS, die OpenAI im August 2025 veröffentlicht hat. Laut Model Card läuft die große Fassung mit rund 120 Milliarden Parametern auf einer einzelnen Grafikkarte mit 80 GB Speicher, die kleine mit rund 20 Milliarden auf 16 GB. Prüfen Sie vor dem Einsatz die Lizenz des jeweiligen Modells.
Wie viel Speicher die Grafikkarte braucht
Mehr Speicher auf der Grafikkarte erlaubt ein größeres Modell. Die Werte unten gelten für die verdichtete Fassung, die der Hersteller veröffentlicht, ohne Verdichtung braucht dasselbe Modell deutlich mehr Speicher. Für die Planung genügen 3 Klassen.
Was der Server im Monat kostet
Ein gemieteter Server mit einer Grafikkarte mit 96 GB kostet laut Hetzner 999 Euro netto im Monat, dazu einmalig 999 Euro. Dieselbe Klasse kostet als virtuelle Maschine in Azure Frankfurt laut Microsoft ohne Reservierung 7,15 US Dollar je Stunde, rund 5.220 US Dollar im Monat. Der dokumentierte Betriebspfad ist Microsoft Azure, andere Umgebungen sind unterstützt, aber noch nicht mit einer Referenz belegt. Alle 3 Klassen mit Preis und Standort stehen auf der Seite GPU Server mieten.
Wann sich ein eigenes Modell lohnt
Nach Verbrauch kostet das offene Modell GPT OSS 120b in einem deutschen Rechenzentrum laut IONOS 2026 0,15 Euro je Million gelesener und 0,65 Euro je Million geschriebener Tokens. Rein nach Preis lohnt der eigene Server deshalb erst bei großer Menge. Für ihn sprechen zuerst 2 andere Gründe. Die Inhalte bleiben auf Ihrem Server, und der Preis steht fest, auch wenn Automatisierungen rund um die Uhr laufen. Ob ein offenes Modell für Ihre Aufgabe genügt, zeigt ein Test mit Ihren Dokumenten.
Was neben dem Modell nötig ist
Ein Modell kennt Ihre Firma nicht und rechnet ohne Hilfe nicht verlässlich. Wissen mit Quelle, Regeln im Code, Rechnen mit prüfbarem Code und Abläufe kommen aus der Software um das Modell. In OneMachine sind Skills als MCP Server gebaut und laufen mit jedem Modell, das dieses Protokoll spricht. Das Wissen liegt in einer Vektordatenbank in Ihrer Umgebung.
Später die Stufe wechseln
Ein Start nach Verbrauch und später ein offenes Modell auf einem eigenen Server ist möglich. Welches Modell ein Agent nutzt, ist eine Einstellung. Für schwierige Aufgaben wie Verträge oder Entscheidungsvorlagen bleibt ein großes Modell wie Claude in jeder Stufe wählbar.
Weitere Fragen
Welche Grafikkarte braucht ein lokales LLM im Unternehmen?
Das hängt von der Größe des Modells ab. In der verdichteten Fassung des Herstellers genügen für ein kleines offenes Modell mit rund 20 Milliarden Parametern 24 GB Speicher, für ein großes mit rund 120 Milliarden Parametern 96 GB. Für viele gleichzeitige Nutzer oder mehrere Modelle braucht es mehrere Karten auf einem Server.
Lässt sich jedes Sprachmodell selbst hosten?
Selbst betreiben dürfen Sie offene Modelle, deren Lizenz das erlaubt. Große Modelle wie Claude laufen beim Anbieter und rechnen nach Tokens ab. In OneMachine legen Sie je Agent fest, welches Modell arbeitet, sensible Inhalte gehen an das Modell in Ihrer Umgebung.
Ist ein selbst gehostetes LLM günstiger als ein Modell nach Verbrauch?
Bei kleiner Menge meist nicht, ein offenes Modell nach Verbrauch kostet nur Bruchteile eines Cents je Vorgang. Der eigene Server hat einen festen Monatspreis, den die Menge nicht verändert. Er lohnt sich deshalb, wenn die Menge stark wächst, wenn Inhalte auf Ihrem Server bleiben müssen oder wenn Automatisierungen dauernd laufen.
Was ist ein lokales LLM?
Ein Sprachmodell, das auf einer Hardware läuft, die Sie kontrollieren, etwa auf einem eigenen oder gemieteten Server mit Grafikkarte. Die Anfragen bleiben dann auf diesem Server. Im Unternehmen braucht es dazu eine Software mit Anmeldung, Rechten und Protokoll.
Weiterlesen
KI Server Kosten im KI Infrastruktur Rechner, Kauf, Strom, Personal und Miete aus 8 Eckdaten, jede Annahme mit Quelle.
Wie funktioniert ein LLM, Lerneinheit 4 der KI Wissensbasis zu Tokens, Embeddings und Kontextfenster.
OneMachine, die KI Plattform für Unternehmen, Fragen mit Quelle, Agenten, Workflows und Auswertungen in Ihrer Infrastruktur.
DSGVO konforme KI in Ihrer Infrastruktur, wo die Daten liegen, wer zugreift und was nach Vertragsende bleibt.
Quellen OpenAI, Model Card GPT OSS, Hetzner, GEX63, Microsoft Azure, Preise virtueller Maschinen, Größe Standard_NC144lds_xl_RTXPRO6000BSE_v6, Linux, Germany West Central, EZB, Euro Referenzkurse, IONOS, AI Model Hub, Abruf am 15.11.2026. Preise netto laut Anbieter, Änderungen durch die Anbieter vorbehalten. Angaben zu OneMachine und Rechenbeispiele von MindsMachines, Stand November 2026, sie beruhen auf den genannten Annahmen. Diese Seite ersetzt weder ein Angebot noch eine Rechtsberatung. Stand der Seite 15.11.2026.