LLM Security: Warum Ihre KI-Strategie ein Sicherheitskonzept braucht

Ihr Unternehmen nutzt bereits Large Language Models. Die Frage ist nur: Wissen Sie, welche? Und wer haftet, wenn etwas schiefgeht?

In Deutschland nutzen laut Bitkom (2025) 67% der Menschen ab 16 Jahren generative KI, ChatGPT liegt mit 43% vorn. Viele setzen diese Tools auch im Job ein, oft ohne Freigabe durch die Security-Abteilung. Das ist keine technische Nachlässigkeit, sondern ein Governance-Versagen.

Die unbequeme Wahrheit für Führungskräfte

OpenAI-CEO Sam Altman hat schon im Mai 2023 eingeräumt, dass es ein völlig neues Paradigma bräuchte, um Prompt Injection, die kritischste LLM-Schwachstelle, in zehn von zehn Fällen zu verhindern. Die Ursache liegt in der Bauweise der Modelle.

Was das für Ihre Risikobewertung bedeutet:

Sie können LLM-Risiken nicht wegpatchen. Sie müssen sie managen. Und das erfordert Entscheidungen auf Führungsebene, nicht in der IT-Abteilung.

Die OWASP Foundation führt eine Top-10-Liste für LLM-Anwendungen. Die 2025er-Version zeigt: Die Bedrohungen entwickeln sich schneller als die meisten Security-Strategien.

Vier Risikokategorien, die C-Level verstehen muss

1. Datenabfluss: Ihre vertraulichen Informationen in fremden Modellen

Ein Mitarbeiter kopiert einen Vertragsentwurf in ChatGPT. Ein anderer lässt Kundendaten durch einen KI-Assistenten analysieren. Ein dritter nutzt ein LLM für Finanzzahlen.

Business Impact:

• Vertrauliche Informationen in Trainingsdaten von Drittanbietern
• Potenzielle DSGVO-Verstöße bei personenbezogenen Daten
• Wettbewerbsrelevante Informationen außerhalb Ihrer Kontrolle

Die Governance-Frage: Haben Sie eine Policy, die regelt, welche Daten in welche LLMs fließen dürfen? Und wird sie durchgesetzt?

→ Vertiefung: DSGVO-konforme LLM-Nutzung

2. Manipulation: Wenn Ihre KI-Systeme gegen Sie arbeiten

Prompt Injection ist das LLM-Äquivalent von SQL Injection, nur dass es keine vollständige technische Lösung gibt.

Angreifer können Ihre LLM-Systeme dazu bringen:

• Interne Anweisungen preiszugeben
• Aktionen im Namen des Unternehmens auszuführen
• Falsche oder schädliche Outputs zu generieren

Ein Szenario: Ihr Kunden-Chatbot verarbeitet eine manipulierte E-Mail. Der versteckte Prompt darin weist den Bot an, Kundendaten zu extrahieren und in seiner Antwort einzubetten.

Die Haftungsfrage: Wenn ein LLM-System einen Schaden verursacht: Wer trägt die Verantwortung? Die IT? Der Fachbereich, der das Tool eingeführt hat? Der Vorstand, der keine Governance etabliert hat?

→ Deep-Dive: Prompt Injection verstehen und verhindern

3. Unkontrollierte Handlungsfähigkeit: Wenn KI-Agenten zu viele Rechte haben

Die nächste Welle sind LLM-Agenten: KI-Systeme, die nicht nur Text generieren, sondern eigenständig handeln: E-Mails versenden, Daten abrufen, Systeme steuern.

Die Zahlen sind alarmierend: Entro Labs (H1 2025) zählt durchschnittlich 144 Non-Human Identities pro menschlichem Nutzer. Viele davon mit weitreichenden Berechtigungen. Wenn ein LLM-Agent kompromittiert wird, erbt der Angreifer alle diese Rechte.

Die strategische Frage: Wer genehmigt, welche Aktionen ein LLM-Agent ausführen darf? Gibt es einen Freigabeprozess? Audit-Logs?

→ Mehr dazu: Non-Human Identity Management

4. Lieferkettenrisiko: Ihre Abhängigkeit von Drittanbietern

Sie kontrollieren nicht die Modelle. Sie kontrollieren nicht die Trainingsdaten. Sie kontrollieren nicht die Infrastruktur.

Abhängigkeiten, die Sie bewerten müssen:

• Welche LLM-Provider nutzen Sie (bewusst und unbewusst)?
• Wo werden Daten verarbeitet und gespeichert?
• Was passiert bei einem Security-Incident beim Provider?
• Wie schnell können Sie den Provider wechseln?

Die Vendor-Due-Diligence-Frage: Haben Sie die gleichen Security-Anforderungen an Ihre LLM-Provider wie an andere kritische IT-Dienstleister?

Regulatorischer Druck: Was auf Sie zukommt

EU AI Act

Ab August 2025 gelten verschärfte Anforderungen für KI-Systeme mit "inakzeptablem Risiko". Ab August 2026 für Hochrisiko-Systeme. LLMs, die in kritischen Geschäftsprozessen eingesetzt werden, fallen potenziell darunter.

Bußgeldrahmen: Bis zu 35 Millionen Euro oder 7% des globalen Jahresumsatzes.

→ Details: EU AI Act Compliance

NIS2

Die Richtlinie für Cybersicherheit erweitert den Scope auf mehr Branchen und verschärft Meldepflichten. LLM-Sicherheit wird Teil der Gesamtrisikobewertung.

→ Auswirkungen: NIS2 und KI-Sicherheit

DSGVO

Jede LLM-Nutzung mit personenbezogenen Daten ist datenschutzrechtlich relevant. Die Rechtsgrundlage, Auftragsverarbeitung und Drittlandtransfers müssen geklärt sein.

Die drei Entscheidungen, die jetzt getroffen werden müssen

Entscheidung 1: Sichtbarkeit schaffen

Die Ausgangsfrage: Welche LLMs werden in Ihrem Unternehmen genutzt?

Das schließt ein:

• Offiziell eingeführte Tools
• Shadow AI: private ChatGPT-Accounts, Browser-Extensions, integrierte KI-Features
• LLMs in Drittanbieter-Software, die Sie nutzen

Ohne diese Sichtbarkeit können Sie weder Risiken bewerten noch Governance etablieren.

→ Mehr dazu: Shadow AI unter Kontrolle bringen

Entscheidung 2: Verantwortlichkeiten klären

Wer ist für LLM-Security verantwortlich?

• CISO: Risikobewertung, Security-Architektur, Incident Response
• CDO/DPO: Datenschutz, Data Governance, Compliance
• Business Owner: Fachliche Anforderungen, Risiko-Nutzen-Abwägung
• Vorstand: Governance-Framework, Budget, strategische Ausrichtung

Ohne klare Verantwortlichkeiten entstehen blinde Flecken, und niemand fühlt sich zuständig, bis es zu spät ist.

Entscheidung 3: Risikoappetit definieren

Wie viel LLM-Risiko ist Ihr Unternehmen bereit zu tragen?

Konservativ: Keine LLMs mit sensiblen Daten. Nur geprüfte Use Cases. Strenge Freigabeprozesse.

Moderat: Kontrollierte Nutzung mit definierten Guardrails. Klassifizierung nach Daten-Sensitivität.

Offensiv: Schnelle Adoption mit nachgelagerter Absicherung. Akzeptanz höherer Risiken für Wettbewerbsvorteile.

Es gibt keine richtige Antwort, aber es muss eine bewusste Entscheidung sein.

Was ein wirksames LLM-Security-Programm umfasst

Für CISOs – die kritischen Controls:

Der Weg zur Handlungsfähigkeit

Kurzfristig (diese Woche)

1. Inventar starten: Welche LLMs nutzen Ihre Teams? Fragen Sie direkt.
2. Verantwortlichkeiten klären: Wer ist Ihr Ansprechpartner für LLM-Security?
3. Basis-Policy kommunizieren: Mindestens eine klare Aussage, welche Daten nicht in externe LLMs gehören.

Mittelfristig (dieses Quartal)

1. Risk Assessment durchführen: Bewertung aller LLM-Use-Cases nach Business Impact
2. Security-Architektur definieren: Welche Controls brauchen Sie?
3. Governance-Prozess etablieren: Wie werden neue LLM-Tools genehmigt?

→ Strukturierter Ansatz: KI Risk Assessment Framework

Strategisch

1. Integration in Enterprise Risk Management: LLM-Risiken als Teil der Gesamtrisikobetrachtung
2. Continuous Assurance: Red Teaming, Monitoring, regelmäßige Reviews
3. Kompetenzaufbau: Security-Teams brauchen LLM-spezifisches Know-how

→ Langfristiger Rahmen: KI Security Framework implementieren

Die Frage, die Sie Ihrem Team stellen sollten

"Wenn morgen ein LLM-basierter Sicherheitsvorfall in unserem Unternehmen passiert: Wissen wir, was zu tun ist?"

Wenn die Antwort nicht eindeutig "Ja" ist, haben Sie Handlungsbedarf.

Weiterführend

• Prompt Injection verstehen und verhindern: Die kritischste technische Schwachstelle
• Shadow AI unter Kontrolle bringen: Sichtbarkeit als erster Schritt
• KI Security Framework implementieren: Strukturierter Governance-Ansatz
• AI Security Grundlagen: Zurück zur Übersicht