Aktuelle Hinweise zur Gestaltung „sicherer“ Software

Leitfaden zur Vermeidung von Sicherheitslücken: Sicherheitsvorfälle sind oft das Resultat komplexer Wechselwirkungen zwischen Technologie, Prozessen und menschlichen Entscheidungen.

Um dem entgegenzuwirken, ist es entscheidend, dass Softwarehersteller Sicherheit von Beginn an in ihre Entwicklungsprozesse integrieren. In diesem Beitrag werden die Best Practices und die Schritte beleuchtet, die zur sicheren Softwareentwicklung und -bereitstellung beitragen, wobei Grundlage zwei CISA-Dokumente sind.

Aktuelle Hinweise zur Gestaltung „sicherer“ Software weiterlesen

Chinesische Forscher entwickeln militärischen Chatbot mit Open-Source-KI

In einem aufsehenerregenden Schritt haben chinesische Forscher kürzlich ein KI-System namens „ChatBIT“ auf Basis von Metas Llama 2-Modell für militärische Anwendungen entwickelt. Die Arbeit, im Juni 2024 veröffentlicht, beschreibt detailliert die Anpassung des Llama 2 13B-Modells für Aufgaben wie die Sammlung und Verarbeitung von Informationen sowie die Unterstützung in operativen Entscheidungsprozessen. Diese KI-Entwicklung, die auf einem öffentlich zugänglichen Modell basiert, wird zurzeit kontrovers diskutiert und wirft zentrale Fragen zur militärischen Nutzung von Open-Source-KI auf.

Chinesische Forscher entwickeln militärischen Chatbot mit Open-Source-KI weiterlesen

Bedrohung durch Malla-Dienste wie WormGPT: Automatisierung von Cyberkriminalität durch Generative KI

Die Geschwindigkeit, mit der sich KI-Lösungen – speziell bei den großangelegten Sprachmodellen – entwickeln, hat natürlich auch die Einsatzmöglichkeiten für Cyberkriminalität drastisch erweitert. Ein Beispiel hierfür ist „WormGPT“, ein KI-Tool, das speziell auf die Anforderungen der kriminellen Nutzung zugeschnitten ist und in einschlägigen Foren auf großes Interesse stößt. WormGPT hat sich insbesondere in der Unterstützung von „Business Email Compromise“ (BEC)-Angriffen und Phishing-Attacken bewährt, indem es täuschend echte und überzeugende E-Mails erzeugt, die häufig sogar erfahrene Nutzer täuschen können.

WormGPT ist dabei nur ein Beispiel für die neuesten Erkenntnisse zur Nutzung von Large Language Models (LLMs) im Bereich der Cyberkriminalität. Insbesondere die Rolle der sogenannten „Malla“-Dienste (Malicious LLM Applications) wirft Fragen auf: Eine aktuelle Untersuchung zeigt, dass Cyberkriminelle vermehrt auf „unzensierte“ und frei zugängliche Sprachmodelle zurückgreifen, um diese für bösartige Dienste zu missbrauchen. Die beliebtesten Systeme im Untergrund sind dabei unter anderem OpenAI-Modelle wie GPT-3.5-turbo sowie Open-Source-Modelle wie Luna AI Llama2 Uncensored und Pygmalion-13B

Bedrohung durch Malla-Dienste wie WormGPT: Automatisierung von Cyberkriminalität durch Generative KI weiterlesen

Model Autophagy Disorder: Generative Modelle in der Selbstzerstörung?

In der modernen Welt der Künstlichen Intelligenz (KI) haben generative Modelle eine Revolution ausgelöst. Diese Modelle erzeugen Bilder, Texte und andere Datentypen, die zunehmend von Unternehmen und in Konsumentendiensten eingesetzt werden. Doch was passiert, wenn diese Modelle beginnen, sich selbst zu konsumieren? Die kürzlich durchgeführte Studie, „Self-Consuming Generative Models Go MAD“, beleuchtet diese Frage und liefert besorgniserregende Einblicke.

Model Autophagy Disorder: Generative Modelle in der Selbstzerstörung? weiterlesen

Nutzung generativer KI durch Arbeitnehmer

In einer sich ständig wandelnden Arbeitswelt, geprägt von technologischen Fortschritten und globalen Disruptionen, stehen sowohl Arbeitgeber als auch Arbeitnehmer vor der Herausforderung, sich kontinuierlich anzupassen. Die Studie „Decoding Global Talent 2024„, durchgeführt von der Boston Consulting Group in Zusammenarbeit mit The Network und The Stepstone Group, beleuchtet die aktuellen Präferenzen und Erwartungen von Arbeitnehmern weltweit. Ein zentraler Fokus liegt dabei auf der Rolle der Fortbildung und der Nutzung von Generativer Künstlicher Intelligenz (GenAI) in der Arbeitswelt.

Nutzung generativer KI durch Arbeitnehmer weiterlesen

AI-Act: Zulässigkeit von Biometrischen Funktionen in KI-Systemen

Biometrische Daten spielen eine zunehmend wichtige Rolle: Von der Gesichtserkennung bis hin zur Authentifizierung per Fingerabdruck – die Nutzung biometrischer Funktionen in KI-Systemen bietet zahlreiche Möglichkeiten, bringt jedoch auch Herausforderungen und Risiken mit sich.

Der AI Act der Europäischen Union setzt hier klare Regeln, um den verantwortungsvollen und ethischen Einsatz dieser Technologien sicherzustellen. In diesem Blog-Beitrag gehe ich kurz darauf ein, unter welchen Bedingungen biometrische Funktionen in KI-Systemen zulässig sind und wann sie verboten sind.

AI-Act: Zulässigkeit von Biometrischen Funktionen in KI-Systemen weiterlesen

LLM-Hacking: Ein Überblick über Angriffstechniken und -szenarien

Das sogenannte „LLM-Hacking“ bezieht sich auf Techniken und Strategien, um diese Modelle zu manipulieren oder ihre Funktionen auf unvorhergesehene Weise zu nutzen.

Große Sprachmodelle sind in gewisser Hinsicht besonders gefahrgeneigt, weil diese versuchen autonom zu agieren und dabei notwendigerweise auf Eingaben von Außen angewiesen sind: Mal durch die Aufgaben, die ihnen erteilt werden, mal durch Daten, mit denen sie gefüttert werden. Die zunehmende Verbreitung von LLM sollte dabei Anlass sein, sich mit grundsätzlichem Wissen zur Cybersicherheit bei LLM auseinanderzusetzen. Im Folgenden möchte ich darum als Einstieg verständlich darauf eingehen, was LLM-Hacking ist und typische Angriffsszenarien beschreiben.

LLM-Hacking: Ein Überblick über Angriffstechniken und -szenarien weiterlesen

Herausforderungen durch KI-Täuschung

Es lässt sich nicht ignorieren, dass wir in einer Welt leben, in der künstliche Intelligenz (KI) in immer krasserem Maße in unseren Alltag integriert wird – doch damit steigt auch das Potenzial für KI-basierte Täuschungen sowie damit verbundene Gefahren. Diese Täuschungen können von harmlosen Fehlinformationen bis hin zu gezielten Betrugsversuchen reichen. Eine aktuelle Studie beleuchtet dieses Thema ausführlich und bietet Einblicke in Beispiele, Risiken und mögliche Lösungen für das Problem der KI-Täuschung.

Herausforderungen durch KI-Täuschung weiterlesen

BSI zum Einfluss von KI auf die Cyberbedrohungslandschaft

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat eine umfassende Untersuchung zu den Auswirkungen künstlicher Intelligenz (KI) auf die Cyberbedrohungslage vorgelegt.

Der Fokus liegt auf der Bewertung, wie KI, insbesondere große Sprachmodelle (LLMs), die Cyberbedrohungslandschaft beeinflussen, sowohl für Angreifer als auch für Verteidiger. Der Bericht hebt hervor, wie KI-basierte Technologien die Möglichkeiten und Techniken der Cyberkriminalität erweitern, aber auch wie sie zur Stärkung der Cybersicherheitsmaßnahmen eingesetzt werden können.

BSI zum Einfluss von KI auf die Cyberbedrohungslandschaft weiterlesen

Künstliche Intelligenz in der Cybersicherheit: Autonome Nutzung von One-Day-Vulnerabilities

Eine aktuelle Studie zum Thema künstliche Intelligenz und Cybersicherheit zeigt auf, dass große Sprachmodelle (LLMs), insbesondere GPT-4, in der Lage sind, sogenannte One-Day-Vulnerabilities autonom zu nutzen. Dies wirft wichtige Fragen über die Sicherheit und die ethischen Aspekte des Einsatzes dieser Technologien auf.

Künstliche Intelligenz in der Cybersicherheit: Autonome Nutzung von One-Day-Vulnerabilities weiterlesen