LLM selbst hosten, was braucht ein eigenes Sprachmodell?

MindsMachines, Stand 15. November 2026

Kurz gesagt

Ein LLM selbst zu hosten heißt, ein offenes Sprachmodell auf einem Server mit Grafikkarte zu betreiben, der nur für Ihr Haus arbeitet. In verdichteter Fassung genügen 96 GB Speicher für ein großes offenes Modell mit rund 120 Milliarden Parametern, 24 GB für ein kleines mit rund 20 Milliarden. Der Preis steht fest, die Inhalte verlassen den Server nicht.

Offene Modelle wie GPT OSS, die Sie selbst betreiben dürfen

Neben den großen Modellen beim Anbieter gibt es offene Modelle, die jede Firma auf eigenen Servern betreiben darf. Ein Beispiel sind die Modelle GPT OSS, die OpenAI im August 2025 veröffentlicht hat. Laut Model Card läuft die große Fassung mit rund 120 Milliarden Parametern auf einer einzelnen Grafikkarte mit 80 GB Speicher, die kleine mit rund 20 Milliarden auf 16 GB. Prüfen Sie vor dem Einsatz die Lizenz des jeweiligen Modells.

Wie viel Speicher die Grafikkarte braucht

Mehr Speicher auf der Grafikkarte erlaubt ein größeres Modell. Die Werte unten gelten für die verdichtete Fassung, die der Hersteller veröffentlicht, ohne Verdichtung braucht dasselbe Modell deutlich mehr Speicher. Für die Planung genügen 3 Klassen.

Speicher der GrafikkarteGeeignet fürBeispiel
24 GBkleines offenes Modell mit rund 20 Milliarden ParameternMails, Entwürfe, einfache Wissensfragen
96 GBgroßes offenes Modell mit rund 120 Milliarden Parametern in der verdichteten Fassung des HerstellersRechnungen prüfen, Berichte, Fragen an das Firmenwissen
4 mal 96 GBmehrere Modelle oder viele gleichzeitige Nutzergrößere Häuser mit Automatisierungen rund um die Uhr
Klassen nach MindsMachines, Modellgrößen laut OpenAI, Model Card GPT OSS 2025.

Was der Server im Monat kostet

Ein gemieteter Server mit einer Grafikkarte mit 96 GB kostet laut Hetzner 999 Euro netto im Monat, dazu einmalig 999 Euro. Dieselbe Klasse kostet als virtuelle Maschine in Azure Frankfurt laut Microsoft ohne Reservierung 7,15 US Dollar je Stunde, rund 5.220 US Dollar im Monat. Der dokumentierte Betriebspfad ist Microsoft Azure, andere Umgebungen sind unterstützt, aber noch nicht mit einer Referenz belegt. Alle 3 Klassen mit Preis und Standort stehen auf der Seite GPU Server mieten.

Wann sich ein eigenes Modell lohnt

Nach Verbrauch kostet das offene Modell GPT OSS 120b in einem deutschen Rechenzentrum laut IONOS 2026 0,15 Euro je Million gelesener und 0,65 Euro je Million geschriebener Tokens. Rein nach Preis lohnt der eigene Server deshalb erst bei großer Menge. Für ihn sprechen zuerst 2 andere Gründe. Die Inhalte bleiben auf Ihrem Server, und der Preis steht fest, auch wenn Automatisierungen rund um die Uhr laufen. Ob ein offenes Modell für Ihre Aufgabe genügt, zeigt ein Test mit Ihren Dokumenten.

Was neben dem Modell nötig ist

Ein Modell kennt Ihre Firma nicht und rechnet ohne Hilfe nicht verlässlich. Wissen mit Quelle, Regeln im Code, Rechnen mit prüfbarem Code und Abläufe kommen aus der Software um das Modell. In OneMachine sind Skills als MCP Server gebaut und laufen mit jedem Modell, das dieses Protokoll spricht. Das Wissen liegt in einer Vektordatenbank in Ihrer Umgebung.

Später die Stufe wechseln

Ein Start nach Verbrauch und später ein offenes Modell auf einem eigenen Server ist möglich. Welches Modell ein Agent nutzt, ist eine Einstellung. Für schwierige Aufgaben wie Verträge oder Entscheidungsvorlagen bleibt ein großes Modell wie Claude in jeder Stufe wählbar.

Weitere Fragen

Welche Grafikkarte braucht ein lokales LLM im Unternehmen?

Das hängt von der Größe des Modells ab. In der verdichteten Fassung des Herstellers genügen für ein kleines offenes Modell mit rund 20 Milliarden Parametern 24 GB Speicher, für ein großes mit rund 120 Milliarden Parametern 96 GB. Für viele gleichzeitige Nutzer oder mehrere Modelle braucht es mehrere Karten auf einem Server.

Lässt sich jedes Sprachmodell selbst hosten?

Selbst betreiben dürfen Sie offene Modelle, deren Lizenz das erlaubt. Große Modelle wie Claude laufen beim Anbieter und rechnen nach Tokens ab. In OneMachine legen Sie je Agent fest, welches Modell arbeitet, sensible Inhalte gehen an das Modell in Ihrer Umgebung.

Ist ein selbst gehostetes LLM günstiger als ein Modell nach Verbrauch?

Bei kleiner Menge meist nicht, ein offenes Modell nach Verbrauch kostet nur Bruchteile eines Cents je Vorgang. Der eigene Server hat einen festen Monatspreis, den die Menge nicht verändert. Er lohnt sich deshalb, wenn die Menge stark wächst, wenn Inhalte auf Ihrem Server bleiben müssen oder wenn Automatisierungen dauernd laufen.

Was ist ein lokales LLM?

Ein Sprachmodell, das auf einer Hardware läuft, die Sie kontrollieren, etwa auf einem eigenen oder gemieteten Server mit Grafikkarte. Die Anfragen bleiben dann auf diesem Server. Im Unternehmen braucht es dazu eine Software mit Anmeldung, Rechten und Protokoll.

Weiterlesen

KI Server Kosten im KI Infrastruktur Rechner, Kauf, Strom, Personal und Miete aus 8 Eckdaten, jede Annahme mit Quelle.

Wie funktioniert ein LLM, Lerneinheit 4 der KI Wissensbasis zu Tokens, Embeddings und Kontextfenster.

OneMachine, die KI Plattform für Unternehmen, Fragen mit Quelle, Agenten, Workflows und Auswertungen in Ihrer Infrastruktur.

DSGVO konforme KI in Ihrer Infrastruktur, wo die Daten liegen, wer zugreift und was nach Vertragsende bleibt.

Quellen OpenAI, Model Card GPT OSS, Hetzner, GEX63, Microsoft Azure, Preise virtueller Maschinen, Größe Standard_NC144lds_xl_RTXPRO6000BSE_v6, Linux, Germany West Central, EZB, Euro Referenzkurse, IONOS, AI Model Hub, Abruf am 15.11.2026. Preise netto laut Anbieter, Änderungen durch die Anbieter vorbehalten. Angaben zu OneMachine und Rechenbeispiele von MindsMachines, Stand November 2026, sie beruhen auf den genannten Annahmen. Diese Seite ersetzt weder ein Angebot noch eine Rechtsberatung. Stand der Seite 15.11.2026.

KI Infrastruktur im Unternehmen, was sie braucht und was sie kostet

KI On Premise, was braucht der Betrieb im eigenen Haus?

KI On Premise heißt, Plattform, Daten und Protokolle laufen in Ihrer Umgebung. Bei lokaler KI läuft auch das Sprachmodell auf Ihrem Server.

GPU Server mieten, was kostet die Miete im Monat?

Was ein GPU Server für KI im Monat kostet. Listenpreise für 24 GB, 96 GB und 4 Karten, Miete gegen virtuelle Maschine in der Cloud, mit Quelle.

Was kostet KI im Unternehmen?

Die Kosten für KI im Unternehmen bestehen aus Plattform, Infrastruktur und Sprachmodell. Was ein Token kostet und warum die Modellwahl den Preis treibt.

Was ist ein Sprachmodell, und was unterscheidet LLM und KI?

Ein Sprachmodell (LLM) versteht und schreibt Text. KI im Unternehmen ist das Modell plus Software mit Wissen, Regeln und Abläufen. Mit erdachtem Beispiel.

KI einführen im Mittelstand, wie gelingt der Start?

KI einführen im Mittelstand in 4 Schritten, vom Auftrag über den ersten Anwendungsfall bis zur Schulung. Mit 7 Fragen an jedes Angebot.

Betrieb, Zugriff und Rollen für Ihr Haus klären

Architektur und Sicherheitsgespräch, 30 Minuten, online. Ergebnis ist Klarheit über Betrieb im eigenen Tenant, Zugriffsmodell, Rollen und Protokollierung.
Architektur und Sicherheitsgespräch vereinbaren