KI On Premise, was braucht der Betrieb im eigenen Haus?

MindsMachines, Stand 15. November 2026

Kurz gesagt

KI On Premise heißt im engen Sinn, dass die KI auf Servern im eigenen Haus läuft. In der Praxis zählt, dass Plattform, Daten und Protokolle in einer Umgebung laufen, die Sie kontrollieren, im eigenen Azure Tenant oder auf einem gemieteten Server in Europa. Der dokumentierte Betriebspfad ist Microsoft Azure, andere Umgebungen sind unterstützt, aber noch nicht mit einer Referenz belegt.

Was im eigenen Haus bleibt

Daten, Wissen und Protokolle bleiben in Ihrer Infrastruktur. Das Wissen liegt in einer Vektordatenbank in Ihrer Umgebung, die Anmeldung läuft über Microsoft Entra ID. Inhalte gehen nur dann an ein Sprachmodell beim Anbieter, wenn eine Regel für den jeweiligen Agenten es erlaubt. So können sensible Inhalte an ein Modell in Ihrer Umgebung gehen und schwierige Fragen an ein großes Modell.

Ihr eigener Azure Tenant

Arbeitet Ihr Haus bereits mit Microsoft, läuft die Plattform in Ihrem eigenen Azure Tenant in Frankfurt, also in Ihrem abgeschlossenen Bereich der Microsoft Cloud. Die Sprachmodelle laufen dann nach Verbrauch innerhalb der EU Datengrenze. Der Referenzaufbau nutzt Container Apps, PostgreSQL, Redis, eine Vektordatenbank, Key Vault, Blob Storage und Entra ID in der Region Germany West Central. Das ist der dokumentierte Betriebspfad von OneMachine.

Gemieteter Server in Europa

Die Plattform läuft auf einem gemieteten Server bei einem europäischen Anbieter. Für den Server selbst ist kein Vertrag mit einem amerikanischen Cloudanbieter nötig. Laut Bitkom 2026 sehen sich 47 Prozent der Unternehmen, die digitale Technik aus dem Ausland beziehen, stark von den USA abhängig und weitere 40 Prozent eher abhängig. Der dokumentierte Betriebspfad ist Microsoft Azure, andere Umgebungen sind unterstützt, aber noch nicht mit einer Referenz belegt. Ein Server für die Plattform kostet laut Hetzner 149 Euro netto im Monat, dazu einmalig 74 Euro und 10,90 Euro im Monat für Speicher, Standort Falkenstein in Deutschland.

Das Sprachmodell in 3 Stufen

Unabhängig vom Ort der Plattform wählen Sie, wo das Sprachmodell rechnet. Die Stufe lässt sich später wechseln, welches Modell ein Agent nutzt, ist eine Einstellung. Ein großes Modell für schwierige Aufgaben bleibt in jeder Stufe wählbar.

StufeWo das Modell rechnetWann sie passt
Stufe 1, nach VerbrauchModell beim Anbieter, Zahlung je Token, keine eigene Grafikkartekeine eigene Hardware nötig, Menge noch unklar
Stufe 2, eigenes Modelloffenes Modell auf einem eigenen Server mit GrafikkarteInhalte sollen den Server nicht verlassen, Preis soll fest sein
Stufe 3, mehrere Grafikkartenmehrere Karten auf einem Serverviele gleichzeitige Nutzer oder mehrere Modelle
Stufen nach MindsMachines, Stand November 2026.

KI lokal betreiben, Server im eigenen Rechenzentrum

Wer die Grafikkarten im eigenen Serverraum betreiben will, rechnet Kauf, Strom, Kühlung und Personal gegen die Miete. Diese Rechnung macht der KI Infrastruktur Rechner mit 8 Eckdaten und offenen Annahmen. Die Listenpreise für die Miete, als gemieteter Server und als virtuelle Maschine in der Cloud, stehen auf der Seite GPU Server mieten.

Betrieb und Zuständigkeit

Die IT richtet Zugänge und Anmeldung ein. Updates, Überwachung und Sicherheitspatches übernimmt MindsMachines in der Lizenz, ohne Zugriff auf Inhalte. Die Administration sieht Agenten und Abläufe, die einzelnen Chats der Nutzer sieht sie nicht. Fragen Sie vor der Entscheidung nach dem Stand der Referenzen für Ihre Zielumgebung.

Weitere Fragen

Was ist lokale KI im Unternehmen?

Lokale KI heißt im engen Sinn, dass die KI auf Hardware im eigenen Haus läuft. In der Praxis zählt, dass Plattform und Sprachmodell auf einer Hardware laufen, die Sie kontrollieren, etwa auf einem eigenen oder gemieteten Server mit Grafikkarte. Die Anfragen an dieses Modell bleiben dann auf diesem Server. Im Unternehmen braucht es dazu eine Software mit Anmeldung, Rechten und Protokoll.

Was ist der Unterschied zwischen KI On Premise und KI aus der Cloud?

Bei KI On Premise laufen Plattform, Daten und Protokolle in einer Umgebung, die Sie kontrollieren, auf einem Server, den Sie mieten oder selbst betreiben, oder in Ihrem eigenen Tenant. Wer einen Chat direkt beim Anbieter eines Modells nutzt, gibt Inhalte in dessen Umgebung. Häufig ist eine Mischung, bei der die Plattform bei Ihnen läuft und einzelne Anfragen nach einer Regel je Agent an ein großes Modell beim Anbieter gehen.

Braucht KI im eigenen Haus eine eigene Grafikkarte?

Für den Start nicht. In Stufe 1 rechnet das Sprachmodell beim Anbieter nach Verbrauch, die Plattform läuft trotzdem bei Ihnen. Eine eigene Grafikkarte lohnt, wenn Inhalte den Server nicht verlassen sollen oder wenn der Preis fest stehen soll, auch wenn Automatisierungen rund um die Uhr laufen.

Zählt der eigene Azure Tenant als On Premise?

Im engen Sinn meint On Premise Server im eigenen Haus. Der eigene Azure Tenant ist Ihr abgeschlossener Bereich in der Microsoft Cloud, mit Ihren Rollen, Ihrer Anmeldung und Standort Frankfurt. Ob diese Variante Ihre Vorgaben erfüllt, entscheidet Ihre IT gemeinsam mit dem Datenschutz.

Was verlangt der EU AI Act beim Betrieb im eigenen Haus?

Der Ort des Betriebs ändert die Pflichten nicht. In OneMachine erhält jeder geteilte Agent beim Anlegen eine Risikoklasse nach der europäischen KI Verordnung und steht im Register. Änderungen stehen mit Zeit und Nutzer im Protokoll, für Prüfer lässt sich das Register als Excel oder PDF ausgeben. Den Rechtsstand mit Datum finden Sie auf der Seite zum EU AI Act.

Weiterlesen

KI Server Kosten im KI Infrastruktur Rechner, Kauf, Strom, Personal und Miete aus 8 Eckdaten, jede Annahme mit Quelle.

DSGVO konforme KI in Ihrer Infrastruktur, wo die Daten liegen, wer zugreift und was nach Vertragsende bleibt.

On Premise, Cloud und EU Hosting im Vergleich, Lerneinheit 101 der KI Wissensbasis zu den 3 Betriebsorten.

EU AI Act Artikel 4 und KI Kompetenz, Rechtsstand mit Datum, Risikoklassen und Maßnahmen im Arbeitsalltag.

Quellen Bitkom, Presseinformation vom 19. Oktober 2026, Hetzner, EX63, Abruf am 15.11.2026. Preise netto laut Anbieter, Änderungen durch die Anbieter vorbehalten. Angaben zu OneMachine und Rechenbeispiele von MindsMachines, Stand November 2026, sie beruhen auf den genannten Annahmen. Diese Seite ersetzt weder ein Angebot noch eine Rechtsberatung. Stand der Seite 15.11.2026.

KI Infrastruktur im Unternehmen, was sie braucht und was sie kostet

LLM selbst hosten, was braucht ein eigenes Sprachmodell?

Ein offenes Sprachmodell auf eigener Grafikkarte betreiben. Welcher Speicher für welches Modell reicht, was die Miete kostet und wann es sich lohnt.

GPU Server mieten, was kostet die Miete im Monat?

Was ein GPU Server für KI im Monat kostet. Listenpreise für 24 GB, 96 GB und 4 Karten, Miete gegen virtuelle Maschine in der Cloud, mit Quelle.

Was kostet KI im Unternehmen?

Die Kosten für KI im Unternehmen bestehen aus Plattform, Infrastruktur und Sprachmodell. Was ein Token kostet und warum die Modellwahl den Preis treibt.

Was ist ein Sprachmodell, und was unterscheidet LLM und KI?

Ein Sprachmodell (LLM) versteht und schreibt Text. KI im Unternehmen ist das Modell plus Software mit Wissen, Regeln und Abläufen. Mit erdachtem Beispiel.

KI einführen im Mittelstand, wie gelingt der Start?

KI einführen im Mittelstand in 4 Schritten, vom Auftrag über den ersten Anwendungsfall bis zur Schulung. Mit 7 Fragen an jedes Angebot.

Betrieb, Zugriff und Rollen für Ihr Haus klären

Architektur und Sicherheitsgespräch, 30 Minuten, online. Ergebnis ist Klarheit über Betrieb im eigenen Tenant, Zugriffsmodell, Rollen und Protokollierung.
Architektur und Sicherheitsgespräch vereinbaren