IT-Sicherheit – Softwarerecht

Cybersecurity in der Software-Lieferkette

Die jüngsten Angriffe auf die JavaScript-Bibliotheksplattform npm zeigen auf dramatische Weise, wie verwundbar moderne Software-Lieferketten sind. Ein selbstvermehrender Wurm namens Shai-Hulud hat Hunderte von Code-Paketen infiziert, Zugangsdaten gestohlen und diese öffentlich zugänglich gemacht. Für Unternehmen und ihre Führungskräfte wirft dies nicht nur technische, sondern auch erhebliche rechtliche und haftungsrelevante Fragen auf. Was ist passiert, welche Risiken bestehen für Unternehmen, und wie können sich Verantwortliche absichern?

Software Bill of Materials (SBOM)

Eine SBOM ist ein maschinenlesbares Dokument und entspricht einer elektronischen Stückliste: Es inventarisiert eine Codebasis und enthält somit Informationen über alle verwendeten Komponenten einer Software. Inzwischen gewinnt die SBOM durch den CRA erhebliche juristische Relevanz und gehört zwingend zur Compliance bei Einsatz oder Entwicklung von Software, speziell mit Blick auf die Supply-Chain.

Die SBOM-Informationen können in unterschiedlicher Breite und Tiefe dargestellt werden und von einer groben Struktur bis zu einer detaillierten Aufschlüsselung von Produkten und Softwarekomponenten reichen. Entsprechende Vorgaben sind in der Technischen Richtlinie TR-03183 des BSI enthalten.

Designprinzipien für LLM-basierte Systeme des BSI

Ein aktuelles BSI-Whitepaper zu Designprinzipien für LLM-basierte Systeme mit „Zero Trust“-Ansatz enthält zentrale Empfehlungen zur sicheren Implementierung von KI-Systemen in Unternehmen und Behörden. Die Vorgaben reichen von der Authentifizierung und dem Input-/Output-Schutz bis hin zum Monitoring und Hintergrundwissen für die Awareness.

Doch Vorsicht, diese Empfehlungen sind mehr als reine IT-Empfehlungen: Sie berühren unmittelbar haftungsrechtliche Fragen und betreffen die konkrete Umsetzung datenschutzrechtlicher Vorgaben gemäß Art. 25 DSGVO („Privacy by Design“ und „Privacy by Default“).

EuGH zur Zulässigkeit der Dekompilierung von Software

Mit Urteil vom 6. Oktober 2021 hat der Europäische Gerichtshof (EuGH) in der Rechtssache Top System SA gegen État belge (C-13/20) eine grundlegende Entscheidung über die Zulässigkeit der Dekompilierung von Software gefällt. Obwohl sich das Urteil auf die alte Computerprogramm-Richtlinie 91/250/EWG bezieht, entfaltet es auch unter der seit 2009 geltenden Richtlinie 2009/24/EG seine Strahlkraft und wirft neue Fragen auf – nicht nur für das Urheberrecht, sondern auch für das Vertrags- und IT-Recht insgesamt.

Sichere Softwareentwicklung: Ein Leitfaden zur Risikovermeidung und Qualitätssteigerung

Die Bedeutung sicherer Softwareentwicklung wächst rasant mit zunehmender digitaler Vernetzung. Sicherheitsvorfälle sind häufig auf komplexe Interaktionen zwischen Technologie, Prozessen und menschlichem Verhalten zurückzuführen. Daher ist es unerlässlich, dass Softwarehersteller von Anfang an Sicherheitsaspekte in ihre Entwicklungsprozesse einbinden. In diesem Beitrag werden zentrale Maßnahmen und Phasen der sicheren Softwareentwicklung vorgestellt, um potenzielle Schwachstellen zu minimieren und ein hohes Maß an Qualität sicherzustellen.

Chinesische Forscher entwickeln militärischen Chatbot mit Open-Source-KI

In einem aufsehenerregenden Schritt haben chinesische Forscher kürzlich ein KI-System namens „ChatBIT“ auf Basis von Metas Llama 2-Modell für militärische Anwendungen entwickelt. Die Arbeit, im Juni 2024 veröffentlicht, beschreibt detailliert die Anpassung des Llama 2 13B-Modells für Aufgaben wie die Sammlung und Verarbeitung von Informationen sowie die Unterstützung in operativen Entscheidungsprozessen. Diese KI-Entwicklung, die auf einem öffentlich zugänglichen Modell basiert, wird zurzeit kontrovers diskutiert und wirft zentrale Fragen zur militärischen Nutzung von Open-Source-KI auf.

Vertragliche Auswirkungen behördlicher Warnung vor Virenschutzsoftware

Das BSI warnte vor dem Einsatz von Kaspersky-Virenschutz-Software – doch welche vertraglichen Auswirkungen hat diese Warnung auf laufende Verträge? Eine Antwort liegt nun bei

Das Landgericht München I hat am 13. Dezember 2023 im Urteil (Az. 29 O 1152/23) zentrale Fragen zur mietvertraglichen Überlassung von Software, zur Definition von Mängeln bei Software, zur Auswirkung von öffentlich-rechtlichen Sanktionen auf die Nutzung von Software und zum Wegfall der Geschäftsgrundlage behandelt. Das Urteil bietet eine erstmalige umfassende rechtliche Analyse und Argumentation zu diesen komplexen Themen.

Angriffsszenarien auf LLM durch Formulierung in Vergangenheitsform

In einer kürzlich durchgeführten Studie haben Forscher der EPFL (Eidgenössische Technische Hochschule Lausanne) eine interessante Schwachstelle in den aktuellen Ablehnungsmechanismen von großen Sprachmodellen (Large Language Models, LLMs) aufgedeckt.

Diese Schwachstelle ermöglicht es, die Sicherheitsvorkehrungen vieler LLMs zu umgehen, indem man gefährliche Anfragen einfach in die Vergangenheitsform umformuliert. Dieser Blog-Beitrag beleuchtet die Ergebnisse der Studie und deren Implikationen für die Zukunft der LLM-Sicherheit.

LLM-Hacking: Ein Überblick über Angriffstechniken und -szenarien

Das sogenannte “LLM-Hacking” bezieht sich auf Techniken und Strategien, um diese Modelle zu manipulieren oder ihre Funktionen auf unvorhergesehene Weise zu nutzen.

Große Sprachmodelle sind in gewisser Hinsicht besonders gefahrgeneigt, weil diese versuchen autonom zu agieren und dabei notwendigerweise auf Eingaben von Außen angewiesen sind: Mal durch die Aufgaben, die ihnen erteilt werden, mal durch Daten, mit denen sie gefüttert werden. Die zunehmende Verbreitung von LLM sollte dabei Anlass sein, sich mit grundsätzlichem Wissen zur Cybersicherheit bei LLM auseinanderzusetzen. Im Folgenden möchte ich darum als Einstieg verständlich darauf eingehen, was LLM-Hacking ist und typische Angriffsszenarien beschreiben.

Large Language Models (LLM)

KI-Vorfall: Definition von KI-Vorfällen und verwandten Begriffen

Was ist ein KI-Vorfall: Mit der zunehmenden Nutzung Künstlicher Intelligenz (KI) steigen auch die potenziellen Risiken und Schäden, die durch diese Technologien verursacht werden können.

Um diese Risiken zu managen und zu verhindern, ist es wichtig, klare Definitionen für KI-Vorfälle und verwandte Begriffe zu haben. Das OECD-Dokument „Defining AI Incidents and Related Terms“ bietet eine umfassende Übersicht und präzise Definitionen, die als Grundlage für ein gemeinsames Rahmenwerk zur Meldung von KI-Vorfällen dienen sollen.