Kurz gesagt
KI On Premise heißt im engen Sinn, dass die KI auf Servern im eigenen Haus läuft. In der Praxis zählt, dass Plattform, Daten und Protokolle in einer Umgebung laufen, die Sie kontrollieren, im eigenen Azure Tenant oder auf einem gemieteten Server in Europa. Der dokumentierte Betriebspfad ist Microsoft Azure, andere Umgebungen sind unterstützt, aber noch nicht mit einer Referenz belegt.
Was im eigenen Haus bleibt
Daten, Wissen und Protokolle bleiben in Ihrer Infrastruktur. Das Wissen liegt in einer Vektordatenbank in Ihrer Umgebung, die Anmeldung läuft über Microsoft Entra ID. Inhalte gehen nur dann an ein Sprachmodell beim Anbieter, wenn eine Regel für den jeweiligen Agenten es erlaubt. So können sensible Inhalte an ein Modell in Ihrer Umgebung gehen und schwierige Fragen an ein großes Modell.
Ihr eigener Azure Tenant
Arbeitet Ihr Haus bereits mit Microsoft, läuft die Plattform in Ihrem eigenen Azure Tenant in Frankfurt, also in Ihrem abgeschlossenen Bereich der Microsoft Cloud. Die Sprachmodelle laufen dann nach Verbrauch innerhalb der EU Datengrenze. Der Referenzaufbau nutzt Container Apps, PostgreSQL, Redis, eine Vektordatenbank, Key Vault, Blob Storage und Entra ID in der Region Germany West Central. Das ist der dokumentierte Betriebspfad von OneMachine.
Gemieteter Server in Europa
Die Plattform läuft auf einem gemieteten Server bei einem europäischen Anbieter. Für den Server selbst ist kein Vertrag mit einem amerikanischen Cloudanbieter nötig. Laut Bitkom 2026 sehen sich 47 Prozent der Unternehmen, die digitale Technik aus dem Ausland beziehen, stark von den USA abhängig und weitere 40 Prozent eher abhängig. Der dokumentierte Betriebspfad ist Microsoft Azure, andere Umgebungen sind unterstützt, aber noch nicht mit einer Referenz belegt. Ein Server für die Plattform kostet laut Hetzner 149 Euro netto im Monat, dazu einmalig 74 Euro und 10,90 Euro im Monat für Speicher, Standort Falkenstein in Deutschland.
Das Sprachmodell in 3 Stufen
Unabhängig vom Ort der Plattform wählen Sie, wo das Sprachmodell rechnet. Die Stufe lässt sich später wechseln, welches Modell ein Agent nutzt, ist eine Einstellung. Ein großes Modell für schwierige Aufgaben bleibt in jeder Stufe wählbar.
KI lokal betreiben, Server im eigenen Rechenzentrum
Wer die Grafikkarten im eigenen Serverraum betreiben will, rechnet Kauf, Strom, Kühlung und Personal gegen die Miete. Diese Rechnung macht der KI Infrastruktur Rechner mit 8 Eckdaten und offenen Annahmen. Die Listenpreise für die Miete, als gemieteter Server und als virtuelle Maschine in der Cloud, stehen auf der Seite GPU Server mieten.
Betrieb und Zuständigkeit
Die IT richtet Zugänge und Anmeldung ein. Updates, Überwachung und Sicherheitspatches übernimmt MindsMachines in der Lizenz, ohne Zugriff auf Inhalte. Die Administration sieht Agenten und Abläufe, die einzelnen Chats der Nutzer sieht sie nicht. Fragen Sie vor der Entscheidung nach dem Stand der Referenzen für Ihre Zielumgebung.
Weitere Fragen
Was ist lokale KI im Unternehmen?
Lokale KI heißt im engen Sinn, dass die KI auf Hardware im eigenen Haus läuft. In der Praxis zählt, dass Plattform und Sprachmodell auf einer Hardware laufen, die Sie kontrollieren, etwa auf einem eigenen oder gemieteten Server mit Grafikkarte. Die Anfragen an dieses Modell bleiben dann auf diesem Server. Im Unternehmen braucht es dazu eine Software mit Anmeldung, Rechten und Protokoll.
Was ist der Unterschied zwischen KI On Premise und KI aus der Cloud?
Bei KI On Premise laufen Plattform, Daten und Protokolle in einer Umgebung, die Sie kontrollieren, auf einem Server, den Sie mieten oder selbst betreiben, oder in Ihrem eigenen Tenant. Wer einen Chat direkt beim Anbieter eines Modells nutzt, gibt Inhalte in dessen Umgebung. Häufig ist eine Mischung, bei der die Plattform bei Ihnen läuft und einzelne Anfragen nach einer Regel je Agent an ein großes Modell beim Anbieter gehen.
Braucht KI im eigenen Haus eine eigene Grafikkarte?
Für den Start nicht. In Stufe 1 rechnet das Sprachmodell beim Anbieter nach Verbrauch, die Plattform läuft trotzdem bei Ihnen. Eine eigene Grafikkarte lohnt, wenn Inhalte den Server nicht verlassen sollen oder wenn der Preis fest stehen soll, auch wenn Automatisierungen rund um die Uhr laufen.
Zählt der eigene Azure Tenant als On Premise?
Im engen Sinn meint On Premise Server im eigenen Haus. Der eigene Azure Tenant ist Ihr abgeschlossener Bereich in der Microsoft Cloud, mit Ihren Rollen, Ihrer Anmeldung und Standort Frankfurt. Ob diese Variante Ihre Vorgaben erfüllt, entscheidet Ihre IT gemeinsam mit dem Datenschutz.
Was verlangt der EU AI Act beim Betrieb im eigenen Haus?
Der Ort des Betriebs ändert die Pflichten nicht. In OneMachine erhält jeder geteilte Agent beim Anlegen eine Risikoklasse nach der europäischen KI Verordnung und steht im Register. Änderungen stehen mit Zeit und Nutzer im Protokoll, für Prüfer lässt sich das Register als Excel oder PDF ausgeben. Den Rechtsstand mit Datum finden Sie auf der Seite zum EU AI Act.
Weiterlesen
KI Server Kosten im KI Infrastruktur Rechner, Kauf, Strom, Personal und Miete aus 8 Eckdaten, jede Annahme mit Quelle.
DSGVO konforme KI in Ihrer Infrastruktur, wo die Daten liegen, wer zugreift und was nach Vertragsende bleibt.
On Premise, Cloud und EU Hosting im Vergleich, Lerneinheit 101 der KI Wissensbasis zu den 3 Betriebsorten.
EU AI Act Artikel 4 und KI Kompetenz, Rechtsstand mit Datum, Risikoklassen und Maßnahmen im Arbeitsalltag.
Quellen Bitkom, Presseinformation vom 19. Oktober 2026, Hetzner, EX63, Abruf am 15.11.2026. Preise netto laut Anbieter, Änderungen durch die Anbieter vorbehalten. Angaben zu OneMachine und Rechenbeispiele von MindsMachines, Stand November 2026, sie beruhen auf den genannten Annahmen. Diese Seite ersetzt weder ein Angebot noch eine Rechtsberatung. Stand der Seite 15.11.2026.