Die Bedeutung sicherer Softwareentwicklung wächst rasant mit zunehmender digitaler Vernetzung. Sicherheitsvorfälle sind häufig auf komplexe Interaktionen zwischen Technologie, Prozessen und menschlichem Verhalten zurückzuführen. Daher ist es unerlässlich, dass Softwarehersteller von Anfang an Sicherheitsaspekte in ihre Entwicklungsprozesse einbinden. In diesem Beitrag werden zentrale Maßnahmen und Phasen der sicheren Softwareentwicklung vorgestellt, um potenzielle Schwachstellen zu minimieren und ein hohes Maß an Qualität sicherzustellen.
Sichere Softwareentwicklung: Ein Leitfaden zur Risikovermeidung und Qualitätssteigerung weiterlesenKategorie: IT-Sicherheit
Chinesische Forscher entwickeln militärischen Chatbot mit Open-Source-KI
In einem aufsehenerregenden Schritt haben chinesische Forscher kürzlich ein KI-System namens „ChatBIT“ auf Basis von Metas Llama 2-Modell für militärische Anwendungen entwickelt. Die Arbeit, im Juni 2024 veröffentlicht, beschreibt detailliert die Anpassung des Llama 2 13B-Modells für Aufgaben wie die Sammlung und Verarbeitung von Informationen sowie die Unterstützung in operativen Entscheidungsprozessen. Diese KI-Entwicklung, die auf einem öffentlich zugänglichen Modell basiert, wird zurzeit kontrovers diskutiert und wirft zentrale Fragen zur militärischen Nutzung von Open-Source-KI auf.
Chinesische Forscher entwickeln militärischen Chatbot mit Open-Source-KI weiterlesenVertragliche Auswirkungen behördlicher Warnung vor Virenschutzsoftware
Das BSI warnte vor dem Einsatz von Kaspersky-Virenschutz-Software – doch welche vertraglichen Auswirkungen hat diese Warnung auf laufende Verträge? Eine Antwort liegt nun bei
Das Landgericht München I hat am 13. Dezember 2023 im Urteil (Az. 29 O 1152/23) zentrale Fragen zur mietvertraglichen Überlassung von Software, zur Definition von Mängeln bei Software, zur Auswirkung von öffentlich-rechtlichen Sanktionen auf die Nutzung von Software und zum Wegfall der Geschäftsgrundlage behandelt. Das Urteil bietet eine erstmalige umfassende rechtliche Analyse und Argumentation zu diesen komplexen Themen.
Vertragliche Auswirkungen behördlicher Warnung vor Virenschutzsoftware weiterlesenAngriffsszenarien auf LLM durch Formulierung in Vergangenheitsform
In einer kürzlich durchgeführten Studie haben Forscher der EPFL (Eidgenössische Technische Hochschule Lausanne) eine interessante Schwachstelle in den aktuellen Ablehnungsmechanismen von großen Sprachmodellen (Large Language Models, LLMs) aufgedeckt.
Diese Schwachstelle ermöglicht es, die Sicherheitsvorkehrungen vieler LLMs zu umgehen, indem man gefährliche Anfragen einfach in die Vergangenheitsform umformuliert. Dieser Blog-Beitrag beleuchtet die Ergebnisse der Studie und deren Implikationen für die Zukunft der LLM-Sicherheit.
Angriffsszenarien auf LLM durch Formulierung in Vergangenheitsform weiterlesenLLM-Hacking: Ein Überblick über Angriffstechniken und -szenarien
Das sogenannte „LLM-Hacking“ bezieht sich auf Techniken und Strategien, um diese Modelle zu manipulieren oder ihre Funktionen auf unvorhergesehene Weise zu nutzen.
Große Sprachmodelle sind in gewisser Hinsicht besonders gefahrgeneigt, weil diese versuchen autonom zu agieren und dabei notwendigerweise auf Eingaben von Außen angewiesen sind: Mal durch die Aufgaben, die ihnen erteilt werden, mal durch Daten, mit denen sie gefüttert werden. Die zunehmende Verbreitung von LLM sollte dabei Anlass sein, sich mit grundsätzlichem Wissen zur Cybersicherheit bei LLM auseinanderzusetzen. Im Folgenden möchte ich darum als Einstieg verständlich darauf eingehen, was LLM-Hacking ist und typische Angriffsszenarien beschreiben.
KI-Vorfall: Definition von KI-Vorfällen und verwandten Begriffen
Was ist ein KI-Vorfall: Mit der zunehmenden Nutzung Künstlicher Intelligenz (KI) steigen auch die potenziellen Risiken und Schäden, die durch diese Technologien verursacht werden können.
Um diese Risiken zu managen und zu verhindern, ist es wichtig, klare Definitionen für KI-Vorfälle und verwandte Begriffe zu haben. Das OECD-Dokument „Defining AI Incidents and Related Terms“ bietet eine umfassende Übersicht und präzise Definitionen, die als Grundlage für ein gemeinsames Rahmenwerk zur Meldung von KI-Vorfällen dienen sollen.
KI-Vorfall: Definition von KI-Vorfällen und verwandten Begriffen weiterlesenBSI zum Einfluss von KI auf die Cyberbedrohungslandschaft
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat eine umfassende Untersuchung zu den Auswirkungen künstlicher Intelligenz (KI) auf die Cyberbedrohungslage vorgelegt.
Der Fokus liegt auf der Bewertung, wie KI, insbesondere große Sprachmodelle (LLMs), die Cyberbedrohungslandschaft beeinflussen, sowohl für Angreifer als auch für Verteidiger. Der Bericht hebt hervor, wie KI-basierte Technologien die Möglichkeiten und Techniken der Cyberkriminalität erweitern, aber auch wie sie zur Stärkung der Cybersicherheitsmaßnahmen eingesetzt werden können.
BSI zum Einfluss von KI auf die Cyberbedrohungslandschaft weiterlesenKünstliche Intelligenz in der Cybersicherheit: Autonome Nutzung von One-Day-Vulnerabilities
Eine aktuelle Studie zum Thema künstliche Intelligenz und Cybersicherheit zeigt auf, dass große Sprachmodelle (LLMs), insbesondere GPT-4, in der Lage sind, sogenannte One-Day-Vulnerabilities autonom zu nutzen. Dies wirft wichtige Fragen über die Sicherheit und die ethischen Aspekte des Einsatzes dieser Technologien auf.
Künstliche Intelligenz in der Cybersicherheit: Autonome Nutzung von One-Day-Vulnerabilities weiterlesenBSI zu Chancen und Risiken generativer KI
Im Folgenden soll eine aktuelle Publikation des Bundesamts für Sicherheit in der Informationstechnik (BSI) vorgestellt werden, die sich mit den Chancen und Risiken großer Sprachmodelle befasst. Diese KI-Modelle, bekannt als Large Language Models (LLMs), sind in der Lage, auf der Basis von trainierten Daten neue Texte, Bilder und andere Inhalte zu generieren. Ihre vielseitige Einsetzbarkeit bietet zahlreiche Möglichkeiten für Industrie und Behörden, birgt jedoch auch neue IT-Sicherheitsrisiken.
BSI zu Chancen und Risiken generativer KI weiterlesenDie Bedeutung der Sicherheit von Open-Source-Software und die Rolle der Regierungen
Open-Source-Software (OSS) ist mittlerweile ein unverzichtbarer Bestandteil der globalen digitalen Infrastruktur. Ihre Bedeutung erstreckt sich über zahlreiche Branchen und ist entscheidend für die Innovationsfähigkeit und Wettbewerbsstärke von Unternehmen und Staaten.
Allerdings bringt ihre weite Verbreitung auch signifikante Sicherheitsrisiken mit sich, die nicht ignoriert werden dürfen. Im Folgenden gehe ich unter Vorstellung der Analyse „Fostering OSS Security“ die Sicherheitslage von Open-Source-Software beleuchten und diskutieren, welche Maßnahmen aus Sicht dieser Analyse ergriffen werden können, um OSS-Sicherheit zu verbessern.
Die Bedeutung der Sicherheit von Open-Source-Software und die Rolle der Regierungen weiterlesen