Ein aktuelles BSI-Whitepaper zu Designprinzipien für LLM-basierte Systeme mit „Zero Trust“-Ansatz enthält zentrale Empfehlungen zur sicheren Implementierung von KI-Systemen in Unternehmen und Behörden. Die Vorgaben reichen von der Authentifizierung und dem Input-/Output-Schutz bis hin zum Monitoring und Hintergrundwissen für die Awareness.
Doch Vorsicht, diese Empfehlungen sind mehr als reine IT-Empfehlungen: Sie berühren unmittelbar haftungsrechtliche Fragen und betreffen die konkrete Umsetzung datenschutzrechtlicher Vorgaben gemäß Art. 25 DSGVO („Privacy by Design“ und „Privacy by Default“).
Die LLM-Designprinzipien
Das BSI betont die Notwendigkeit von Zero Trust für moderne KI- und LLM-Systeme, weil diese zunehmend autonom arbeiten, verschiedene Datenquellen kombinieren und damit neue Angriffsvektoren eröffnen. Zu den größten Risiken zählen Evasion, Poisoning und Privacy Attacks – vor allem „Indirect Prompt Injection“-Angriffe, die verdeckt Anweisungen einschleusen und etwa Daten exfiltrieren oder ungewollte Prozesse auslösen können.
Deshalb fordert das BSI eine Systemlandschaft, in der kein Teilnehmer, keine Komponente und keine Schnittstelle per se vertraulich behandelt wird – stattdessen müssen kontinuierliche Authentifizierung, Autorisierung und Überwachung erfolgen. Die sechs Designprinzipien umfassen unter anderem:
- Multi-Faktor-Authentifizierung und striktes Privilegienmanagement;
- Validierung, Tagging und Kontrolle aller Eingaben und Ausgaben;
- Sandboxing und Session-Isolation;
- Monitoring, Logging und automatisierte Reaktionen im Vorfall;
- Integration von Threat Intelligence und fortlaufende Awareness-Maßnahmen.
Das Papier rät deutlich davon ab, KI-Systeme ohne menschliche Überwachung autonom entscheiden und handeln zu lassen. Kritische Entscheidungen sollen immer von Menschen kontrolliert werden.
Auswirkungen für Unternehmen
Unternehmen, die KI- und LLM-Systeme nutzen, sollten das BSI-Konzept als Mindestmaßstab für ihre Compliance und Risikoabsicherung betrachten. Die Einhaltung der Designprinzipien ist ein integraler Bestandteil der Sorgfaltspflichten und wirkt haftungsbeschränkend. Bei Entscheidungen zur KI-Infrastruktur und Prozessgestaltung müssen auch die datenschutzrechtlichen Grundsätze gemäß Art. 25 DSGVO sowie die produkthaftungsrechtliche Gesamtverantwortung berücksichtigt werden. Der Verweis auf die BSI-Standards sollte daher Bestandteil jeder Compliance-Argumentation bei Audits, regulatorischen Prüfungen und Haftungsfragen sein.
Wirtschaftsrechtliche Auswirkungen
Die BSI-Prinzipien markieren den Stand der anerkannten Technik für den sicheren Betrieb von KI. Dies hat nicht nur IT-relevante Auswirkungen für Unternehmen, sondern auch haftungsrechtliche: Die Prinzipien definieren, was von Organisationen bei der Entwicklung und Nutzung von KI-Systemen verlangt wird, und können zum Maßstab der „objektiven Sorgfaltspflicht“ werden – nicht zuletzt im Hinblick auf das Produkthaftungsrecht und die kommende EU-Regulierung (AI Act, KI-Haftungsrichtlinie).
Unternehmen, die LLM-basierte Systeme einsetzen oder entwickeln, stehen vor folgenden rechtlichen Herausforderungen:
- Sie müssen technisch-organisatorische Maßnahmen etablieren, die dem Stand der Technik entsprechen. Die aktuellen BSI-Empfehlungen können im Streitfall als Referenz für die erforderliche Sorgfalt und Vorsorge herangezogen werden.
- Unterlassen sie es, diese Prinzipien umzusetzen, können sich daraus haftungsrechtliche Risiken ergeben – und zwar sowohl gegenüber Geschäftspartnern als auch gegenüber Dritten und im eigenen Unternehmen. Ein besonders sensibles Thema ist der Einsatz unzureichend gesicherter KI-Anwendungen, die zu Datenlecks oder Fehlentscheidungen führen. Deshalb schließt die BSI die blinde Übertragung von Verantwortung auf KI explizit aus.
- Die Verantwortlichen im Unternehmen (Vorstand, Geschäftsführung, IT-Leitung) müssen Kompetenz und Kontrollmechanismen schaffen, die sicherstellen, dass relevante Risiken frühzeitig erkannt und Gegenmaßnahmen eingeleitet werden. Sonst drohen persönliche Haftungsrisiken, etwa wenn grob fahrlässig technische Schutzmaßnahmen unterlassen werden.
- Die Umsetzung der Prinzipien ist nicht optional: Mit Inkrafttreten des EU AI Act (voraussichtlich 2026) werden Sicherheitsanforderungen für KI und LLM verpflichtend und auch bußgeldbewehrt – unabhängig von den klassischen Datenschutzvorgaben.
Ein zentrales rechtliches Fundament bleibt die DSGVO, insbesondere Art. 25 („Datenschutz durch Technikgestaltung und durch datenschutzfreundliche Voreinstellungen“). KI-Systeme müssen bereits in der Architektur so gestaltet sein, dass personenbezogene Daten geschützt werden. Das betrifft etwa
- Minimierung der Datenerhebung und -verarbeitung,
- Implementierung von Pseudonymisierung/Verschlüsselung,
- Zugriffsrechte und Verfahren, die bei Angriffen wirksam schützen,
- System- und Protokolldokumentation als Nachweis der Compliance.
In dem BSI-Papier wird konkretisiert, wie solche Anforderungen praktisch umzusetzen sind. Dies erfolgt durch granular segmentierte Rechte und Berechtigungen, Monitoring, Transparenz by Design und Kontrollmechanismen für kritische Fälle. Verstöße dagegen können als Verletzung der DSGVO gewertet werden und zu Bußgeldern oder Schadensersatzansprüchen führen.
- Veränderungssperren bei Software-Besichtigungen - Oktober 6, 2025
- Cybersecurity in der Software-Lieferkette - September 24, 2025
- Software Bill of Materials (SBOM) - September 14, 2025
