Zusammenfassung

Der produktive Einsatz von Large Language Models (LLMs) scheitert häufig an der Komplexität von GPU-Infrastrukturen oder regulatorischen Risiken im Zusammenhang mit US-amerikanischen Plattformen. LLM-as-a-Service verbindet Leistungsfähigkeit mit Datensouveränität. Voraussetzung ist, dass der Betrieb unter kontrollierten Bedingungen stattfindet. Tags: #Künstliche Intelligenz | #Large Language Models (LLMs) | #Rechenzentren

Im Detail

Der produktive Einsatz von Large Language Models (LLMs) scheitert häufig an der Komplexität von GPU-Infrastrukturen oder regulatorischen Risiken im Zusammenhang mit US-amerikanischen Plattformen. LLM-as-a-Service verbindet Leistungsfähigkeit mit Datensouveränität. Voraussetzung ist, dass der Betrieb unter kontrollierten Bedingungen stattfindet. Laut Eurostat nutzen bereits 26 Prozent der deutschen Unternehmen mit mehr als zehn Beschäftigten KI-Technologien. Bei Organisationen mit über 250 Mitarbeitenden liegt der Anteil sogar bei 57 Prozent. Die Herausforderung verschiebt sich jedoch, sobald aus der reinen Nutzung eine unternehmensweite Integration werden soll. Hier trennt sich die Spreu vom Weizen. Enorme Rechenleistungen grundlegend Das liegt in erster Linie an den technischen Voraussetzungen: Unternehmen, die ein Large Language Model tief in ihre Prozesse integrieren möchten, benötigen GPU-Cluster mit enormen Rechenleistungen. Aktuelle Referenzarchitekturen kalkulieren mit rund 1,1 Megawatt Anschlussleistung pro Compute-Einheit. Das ist ein Vielfaches dessen, was klassische Rechenzentren heute bereithalten können. Zur energetischen Herausforderung gesellt sich ein massiver Kühlungsbedarf, den konventionelle Luftkühlung nicht mehr bewältigen kann. Hinzu kommt der Faktor Spezial-Know-how: Für Modellbereitstellung, Inferenzoptimierung und LLMOps-Prozesse fehlt es in den meisten IT-Abteilungen an Fachpersonal. Gleichzeitig können nur wenige Organisationen die massiven Investitionssummen für den eigenständigen Aufbau einer solchen Infrastruktur stemmen. US-Cloud ist keine Lösung GPU-Kapazitäten bei Hyperscalern zu buchen, löst die Infrastrukturfrage kurzfristig, erzeugt jedoch ein gravierendes regulatorisches Problem. Der US Cloud Act etwa erlaubt US-Behörden den Zugriff auf Daten bei Anbietern unter US-Jurisdiktion, unabhängig vom physischen Serverstandort. Für Unternehmen, die sensible Daten über Sprachmodelle verarbeiten, entsteht damit ein Compliance-Risiko, das sich vertraglich nicht heilen lässt. Zusätzlich verschärft wird die Lage durch die europäische Regulierungsdichte: Während DORA und NIS2 extreme Anforderungen an die digitale Resilienz und Cybersicherheit stellen, schafft der EU AI Act einen engen Rahmen für Hochrisikoanwendungen. Werden Sprachmodelle auf Plattformen unter außereuropäischer Jurisdiktion betrieben, wird der erforderliche Nachweis der Regelkonformität oft zur strukturellen Unmöglichkeit. Ein drittes Betriebsmodell entsteht Doch zwischen der Infrastruktur im Eigenbetrieb und der Hyperscaler-Cloud kristallisiert sich ein dritter Weg heraus: KI als verwalteter Dienst , bei dem Infrastruktur, Modellbetrieb und Souveränitätsanforderungen in einem kohärenten Servicemodell zusammenfließen. Entscheidend dabei ist nicht allein, dass ein Modell als Service bereitsteht, sondern wo es läuft, wer die Infrastruktur kontrolliert und welchem Rechtsrahmen der Betrieb unterliegt. Zwei Wege zum Sprachmodell Der Rechenzentrumsbetreiber und IT-Dienstleister noris network hat diese Alternative in ein gestuftes Portfolio überführt. Die Variante „Managed LLM“ richtet sich an Organisationen, die ein dediziertes Sprachmodell benötigen: noris network stellt gemanagte Modelle auf eigenen KI-Clustern bereit und ermöglicht den Betrieb kundeneigener Modelle auf der noris-Infrastruktur, etwa bei hochsensiblen Daten im Finanz- oder Gesundheitssektor. „LLM as a Service“ wiederum adressiert geteilte Modelle und schwankende Lastprofile. Unternehmen erhalten einen API-Endpunkt zur direkten Integration in bestehende Applikationen, ohne eigene GPU-Hardware beschaffen zu müssen. Wir erfüllen die Anforderungen digitaler Souveränität durch eine vollständig eigenständige Wertschöpfungskette. Johannes Meyer, noris network AG Beide Varianten laufen in deutschen Hochsicherheitsrechenzentren, darunter Nürnberg Süd und München Ost, zertifiziert nach ISO 27001 auf Basis von BSI IT-Grundschutz. Für den wachsenden KI-Bedarf nutzt das Unternehmen modulare Container-Rechenzentren mit Liquid Cooling, die die Abwärme der GPU-Module thermodynamisch nutzbar machen. Technisches Rückgrat ist eine Kubernetesbasierte Orchestrierungsplattform. Darauf aufbauend stellt noris network eine einheitliche, OpenAPI-kompatible Schnittstelle (OAS) bereit, die sich extern anbinden lässt und die Betriebskomplexität deutlich senkt. Automatische Fallbacks und Load Balancing sichern hohe Verfügbarkeit und ermöglichen bei Ausfällen einen nahtlosen Wechsel auf redundante Instanzen. Governance-Funktionen wie Virtual Keys, Budget- und Rate-Limits, Guardrails, Audit Logs und RBAC erfüllen die Anforderungen von KRITISUnternehmen und regulierten Branchen. Über In-VPC-Deployments, Prometheus-Metrics, OpenTelemetry und anderen Connectoren fügt sich die Lösung zudem nahtlos in bestehende Monitoring- und Sicherheitsarchitekturen ein. Warum regulierte Branchen besonders profitieren Im Finanzsektor schreibt DORA strenge Maßstäbe vor, die auch für ausgelagerte IT-Dienste gelten. Banken und Versicherungen, die Sprachmodelle zur Dokumentenanalyse oder Risikobewertung nutzen wollen, brauchen eine revisionssichere, auditierbare Infrastruktur. Im Gesundheitswesen potenzieren sich die Anforderungen: Wer Sprachmodelle in der klinischen Dokumentation oder Forschung einsetzt, muss garantieren, dass Patientendaten den EU-Rechtsraum nicht verlassen. Auch die öffentliche Verwaltung steht vor einem Paradigmenwechsel: Die Verarbeitung hoheitlicher Daten auf Infrastrukturen, die dem Zugriff fremder Rechtsordnungen unterliegen könnten, verbietet sich aus grundsätzlichen Erwägungen. Souveränität als Architekturprinzip noris network erfüllt die Anforderungen digitaler Souveränität durch eine vollständig eigenständige Wertschöpfungskette: eigene Rechenzentren, eigene Netzwerkinfrastruktur, eigene Softwareentwicklung und ein bewusster Verzicht auf Public-Cloud-Modelle internationaler Anbieter bei kritischen Anwendungen. Ein Ansatz mit Zukunft: Gartner prognostiziert, dass der globale Markt für Sovereign-Cloud-IaaS rund 80 Milliarden US-Dollar erreichen wird, getrieben durch die Nachfrage nach souveränen KI-Diensten. LLM-as-a-Service auf souveräner Infrastruktur wird sich, darüber sind sich Marktbeobachter einig, als eigenständige Betriebskategorie zwischen On-Premises und Public Cloud etablieren. Fünf Kriterien für einen souveränen LLM-as-a-Service 1. Rechtsraum und Unternehmensstruktur. Der Betreiber muss ein europäisches Unternehmen ohne außereuropäische Konzernstruktur sein, um ein Durchgriffsrecht nach dem CLOUD Act auszuschließen. 2. Standort der Datenverarbeitung. Sämtliche Daten müssen in Rechenzentren auf deutschem oder europäischem Boden verarbeitet werden, ohne Transfers in Drittstaaten. 3. Zertifizierungen und Nachweise. Standards wie ISO 27001 auf Basis von BSI IT-Grundschutz, TÜViT TSI Level 4 oder branchenspezifische Zertifizierungen schaffen die Evidenz für Audits und Prüfungen. 4. Skalierbarkeit und Integrationsfähigkeit. Standardisierte Schnittstellen und flexible Skalierung, vom API-Endpunkt bis zum dedizierten Modellbetrieb auf exklusiver Hardware. 5. Transparenz des Betriebsmodells. Klare Verantwortlichkeiten, definierte SLAs und die Möglichkeit zur Auditierung sind unverzichtbar für regulierte Umgebungen. Tags: #Künstliche Intelligenz | #Large Language Models (LLMs) | #Rechenzentren