LLM Security: Warum Ihre KI-Strategie ein Sicherheitskonzept braucht
LLM-Risiken für Vorstände und CISOs erklärt. Business Impact, Haftungsfragen und die Security-Entscheidungen, die jetzt auf C-Level-Ebene getroffen werden müssen.
Ihr Unternehmen nutzt bereits Large Language Models. Die Frage ist nur: Wissen Sie, welche? Und wer haftet, wenn etwas schiefgeht?
In Deutschland nutzen über 20 Millionen Menschen ChatGPT monatlich. 41% der IT-Mitarbeiter setzen es regelmäßig ein – oft ohne Freigabe durch die Security-Abteilung. Das ist keine technische Nachlässigkeit – es ist ein Governance-Versagen.
Die unbequeme Wahrheit für Führungskräfte
OpenAI-CEO Sam Altman hat es auf der Security Research Conference 2025 bestätigt: Prompt Injection – die kritischste LLM-Schwachstelle – kann nicht zu 100% gestoppt werden. Es ist kein Bug, sondern das Design.
Was das für Ihre Risikobewertung bedeutet:
Sie können LLM-Risiken nicht wegpatchen. Sie müssen sie managen. Und das erfordert Entscheidungen auf Führungsebene – nicht in der IT-Abteilung.
Die OWASP Foundation führt eine Top-10-Liste für LLM-Anwendungen. Die 2025er-Version zeigt: Die Bedrohungslandschaft entwickelt sich schneller als die meisten Security-Strategien.
Vier Risikokategorien, die C-Level verstehen muss
1. Datenabfluss: Ihre vertraulichen Informationen in fremden Modellen
Ein Mitarbeiter kopiert einen Vertragsentwurf in ChatGPT. Ein anderer lässt Kundendaten durch einen KI-Assistenten analysieren. Ein dritter nutzt ein LLM für Finanzzahlen.
Business Impact:
- Vertrauliche Informationen in Trainingsdaten von Drittanbietern
- Potenzielle DSGVO-Verstöße bei personenbezogenen Daten
- Wettbewerbsrelevante Informationen außerhalb Ihrer Kontrolle
Die Governance-Frage: Haben Sie eine Policy, die regelt, welche Daten in welche LLMs fließen dürfen? Und wird sie durchgesetzt?
→ Vertiefung: DSGVO-konforme LLM-Nutzung
2. Manipulation: Wenn Ihre KI-Systeme gegen Sie arbeiten
Prompt Injection ist das LLM-Äquivalent von SQL Injection – nur dass es keine vollständige technische Lösung gibt.
Angreifer können Ihre LLM-Systeme dazu bringen:
- Interne Anweisungen preiszugeben
- Aktionen im Namen des Unternehmens auszuführen
- Falsche oder schädliche Outputs zu generieren
Ein Szenario: Ihr Kunden-Chatbot verarbeitet eine manipulierte E-Mail. Der versteckte Prompt darin weist den Bot an, Kundendaten zu extrahieren und in seiner Antwort einzubetten.
Die Haftungsfrage: Wenn ein LLM-System einen Schaden verursacht – wer trägt die Verantwortung? Die IT? Der Fachbereich, der das Tool eingeführt hat? Der Vorstand, der keine Governance etabliert hat?
→ Deep-Dive: Prompt Injection verstehen und verhindern
3. Unkontrollierte Handlungsfähigkeit: Wenn KI-Agenten zu viele Rechte haben
Die nächste Welle sind LLM-Agenten – KI-Systeme, die nicht nur Text generieren, sondern eigenständig handeln: E-Mails versenden, Daten abrufen, Systeme steuern.
Die Zahlen sind alarmierend: Unternehmen haben durchschnittlich 144 Non-Human Identities pro Mitarbeiter. Viele davon mit weitreichenden Berechtigungen. Wenn ein LLM-Agent kompromittiert wird, erbt der Angreifer alle diese Rechte.
Die strategische Frage: Wer genehmigt, welche Aktionen ein LLM-Agent ausführen darf? Gibt es einen Freigabeprozess? Audit-Logs?
→ Mehr dazu: Non-Human Identity Management
4. Lieferkettenrisiko: Ihre Abhängigkeit von Drittanbietern
Sie kontrollieren nicht die Modelle. Sie kontrollieren nicht die Trainingsdaten. Sie kontrollieren nicht die Infrastruktur.
Abhängigkeiten, die Sie bewerten müssen:
- Welche LLM-Provider nutzen Sie (bewusst und unbewusst)?
- Wo werden Daten verarbeitet und gespeichert?
- Was passiert bei einem Security-Incident beim Provider?
- Wie schnell können Sie den Provider wechseln?
Die Vendor-Due-Diligence-Frage: Haben Sie die gleichen Security-Anforderungen an Ihre LLM-Provider wie an andere kritische IT-Dienstleister?
Regulatorischer Druck: Was auf Sie zukommt
EU AI Act
Ab August 2025 gelten verschärfte Anforderungen für KI-Systeme mit "inakzeptablem Risiko". Ab August 2026 für Hochrisiko-Systeme. LLMs, die in kritischen Geschäftsprozessen eingesetzt werden, fallen potenziell darunter.
Bußgeldrahmen: Bis zu 35 Millionen Euro oder 7% des globalen Jahresumsatzes.
→ Details: EU AI Act Compliance
NIS2
Die Richtlinie für Cybersicherheit erweitert den Scope auf mehr Branchen und verschärft Meldepflichten. LLM-Sicherheit wird Teil der Gesamtrisikobewertung.
→ Auswirkungen: NIS2 und KI-Sicherheit
DSGVO
Jede LLM-Nutzung mit personenbezogenen Daten ist datenschutzrechtlich relevant. Die Rechtsgrundlage, Auftragsverarbeitung und Drittlandtransfers müssen geklärt sein.
Die drei Entscheidungen, die jetzt getroffen werden müssen
Entscheidung 1: Sichtbarkeit schaffen
Die Ausgangsfrage: Welche LLMs werden in Ihrem Unternehmen genutzt?
Das schließt ein:
- Offiziell eingeführte Tools
- Shadow AI: private ChatGPT-Accounts, Browser-Extensions, integrierte KI-Features
- LLMs in Drittanbieter-Software, die Sie nutzen
Ohne diese Sichtbarkeit können Sie weder Risiken bewerten noch Governance etablieren.
→ Mehr dazu: Shadow AI unter Kontrolle bringen
Entscheidung 2: Verantwortlichkeiten klären
Wer ist für LLM-Security verantwortlich?
- CISO: Risikobewertung, Security-Architektur, Incident Response
- CDO/DPO: Datenschutz, Data Governance, Compliance
- Business Owner: Fachliche Anforderungen, Risiko-Nutzen-Abwägung
- Vorstand: Governance-Framework, Budget, strategische Ausrichtung
Ohne klare Verantwortlichkeiten entstehen blinde Flecken – und niemand fühlt sich zuständig, bis es zu spät ist.
Entscheidung 3: Risikoappetit definieren
Wie viel LLM-Risiko ist Ihr Unternehmen bereit zu tragen?
Konservativ: Keine LLMs mit sensiblen Daten. Nur geprüfte Use Cases. Strenge Freigabeprozesse.
Moderat: Kontrollierte Nutzung mit definierten Guardrails. Klassifizierung nach Daten-Sensitivität.
Offensiv: Schnelle Adoption mit nachgelagerter Absicherung. Akzeptanz höherer Risiken für Wettbewerbsvorteile.
Es gibt keine richtige Antwort – aber es muss eine bewusste Entscheidung sein.
Was ein wirksames LLM-Security-Programm umfasst
Jeder Layer fängt ab, was der vorherige durchlässt.
Für CISOs – die kritischen Controls:
| Bereich | Minimum | Zielzustand |
|---|---|---|
| Inventar | Liste aller bekannten LLM-Tools | Vollständige Sichtbarkeit inkl. Shadow AI |
| Datenklassifizierung | Policy für sensible Daten | Technische Durchsetzung |
| Input Validation | Basale Blocklisten | Multi-Layer-Filterung mit ML |
| Output Handling | Keine direkte Systemintegration | Sandbox-Execution, Parameterisierung |
| Berechtigungen | Dokumentierte Rechte | Least Privilege, automatisierte Reviews |
| Monitoring | Logging vorhanden | Echtzeit-Anomalie-Erkennung |
| Incident Response | Generischer IR-Plan | LLM-spezifische Playbooks |
Der Weg zur Handlungsfähigkeit
Kurzfristig (diese Woche)
- Inventar starten: Welche LLMs nutzen Ihre Teams? Fragen Sie direkt.
- Verantwortlichkeiten klären: Wer ist Ihr Ansprechpartner für LLM-Security?
- Basis-Policy kommunizieren: Mindestens eine klare Aussage, welche Daten nicht in externe LLMs gehören.
Mittelfristig (dieses Quartal)
- Risk Assessment durchführen: Bewertung aller LLM-Use-Cases nach Business Impact
- Security-Architektur definieren: Welche Controls brauchen Sie?
- Governance-Prozess etablieren: Wie werden neue LLM-Tools genehmigt?
→ Strukturierter Ansatz: KI Risk Assessment Framework
Strategisch
- Integration in Enterprise Risk Management: LLM-Risiken als Teil der Gesamtrisikobetrachtung
- Continuous Assurance: Red Teaming, Monitoring, regelmäßige Reviews
- Kompetenzaufbau: Security-Teams brauchen LLM-spezifisches Know-how
→ Langfristiger Rahmen: KI Security Framework implementieren
Die Frage, die Sie Ihrem Team stellen sollten
"Wenn morgen ein LLM-basierter Sicherheitsvorfall in unserem Unternehmen passiert – wissen wir, was zu tun ist?"
Wenn die Antwort nicht eindeutig "Ja" ist, haben Sie Handlungsbedarf.
Weiterführend
- Prompt Injection verstehen und verhindern – Die kritischste technische Schwachstelle
- Shadow AI unter Kontrolle bringen – Sichtbarkeit als erster Schritt
- KI Security Framework implementieren – Strukturierter Governance-Ansatz
- AI Security Grundlagen – Zurück zur Übersicht