Aktuelle Hinweise zur Gestaltung “sicherer” Software

Leitfaden zur Vermeidung von Sicherheitslücken: Sicherheitsvorfälle sind oft das Resultat komplexer Wechselwirkungen zwischen Technologie, Prozessen und menschlichen Entscheidungen.

Um dem entgegenzuwirken, ist es entscheidend, dass Softwarehersteller Sicherheit von Beginn an in ihre Entwicklungsprozesse integrieren. In diesem Beitrag werden die Best Practices und die Schritte beleuchtet, die zur sicheren Softwareentwicklung und -bereitstellung beitragen, wobei Grundlage zwei CISA-Dokumente sind.

Aktuelle Hinweise zur Gestaltung “sicherer” Software weiterlesen

Rückzug aus der Cloud: Kosten, Herausforderungen und rechtliche Aspekte der Re-Migration

Die Cloud wurde über Jahre als Lösung für viele IT-Probleme vermarktet: flexible Skalierbarkeit, niedrigere Kosten und geringere Betriebskosten im Vergleich zu traditionellen, lokalen Serverstrukturen. Viele Unternehmen springen auf diesen Zug auf – doch mittlerweile zeichnet sich ein gegenteiliger Trend ab. Unternehmen migrieren Teile ihrer Workloads zurück in On-Premises- oder Private-Cloud-Lösungen. Doch warum entscheiden sich Unternehmen für diesen Schritt, und welche rechtlichen Hürden ergeben sich dabei?

Rückzug aus der Cloud: Kosten, Herausforderungen und rechtliche Aspekte der Re-Migration weiterlesen

Blog-Beitrag: Open Source AI Definition 1.0 – Ein Standard gegen “Open-Washing”

Die kürzlich von der Open Source Initiative (OSI) veröffentlichte „Open Source AI Definition 1.0“ (OSAID) sorgt für klare Regeln im Bereich der „Open Source AI“. Die Definition gibt erstmals eine klare Orientierung, welche Anforderungen ein KI-System erfüllen muss, um als wirklich „offen“ zu gelten – also insbesondere transparent, modifizierbar und zugänglich für die Öffentlichkeit. Ich habe in meinem Blog zum Softwarerecht dazu ein paar Zeilen geschrieben:

Hintergrund: Die OSAID fordert in der nun vorgestellten Definition, dass eine Open Source KI sowohl in ihrer Nutzung, ihrer Funktionsweise und Modifizierbarkeit als auch in der Weitergabe offengelegt wird. Diese Offenheit setzt eine detaillierte Bereitstellung von Dateninformationen, Quellcode und Parametern voraus, sodass Fachleute die Modelle nachvollziehen und verändern können. Diese Definition ist ein wichtiger Schritt, doch bereits jetzt mehren sich auch kritische Stimmen.

Der Grund? Viele große KI-Anbieter, darunter Meta oder Elon Musks Grok, vermarkten ihre Systeme zwar als „open“, ohne jedoch allen Anforderungen an Transparenz und Zugang zu genügen. Hier spricht man von „Open-Washing“ – dem Marketing mit vermeintlicher Offenheit, während hinter den Kulissen Zugänge beschränkt bleiben. Dies erinnert an bekannte Formen des „KI-Washing“ und könnte langfristig den Wettbewerb verzerren. Ein spannender Aspekt dabei ist, wie die Definition auf urheberrechtliche Fragen wirkt: Urheberrechtlich geschützte Trainingsdaten und fehlende Klarheit über deren Nutzung sorgen schon jetzt für Konflikte, die durch die OSAID nur noch präsenter werden dürften.

Mein kurzer Beitrag zur „Open Source AI Definition 1.0“ wendet sich an alle, die sich im Bereich KI und Open Source engagieren oder sich über die neue Definition und ihre kritische Bewertung informieren wollen. Das Ganze ist am Ende von juristischer Bedeutung, denn im Kern können Verstöße im KI-Washing letztlich im Grunde auch wettbewerbsrechtlich verfolgt werden.

Bedrohung durch Malla-Dienste wie WormGPT: Automatisierung von Cyberkriminalität durch Generative KI

Die Geschwindigkeit, mit der sich KI-Lösungen – speziell bei den großangelegten Sprachmodellen – entwickeln, hat natürlich auch die Einsatzmöglichkeiten für Cyberkriminalität drastisch erweitert. Ein Beispiel hierfür ist „WormGPT“, ein KI-Tool, das speziell auf die Anforderungen der kriminellen Nutzung zugeschnitten ist und in einschlägigen Foren auf großes Interesse stößt. WormGPT hat sich insbesondere in der Unterstützung von „Business Email Compromise“ (BEC)-Angriffen und Phishing-Attacken bewährt, indem es täuschend echte und überzeugende E-Mails erzeugt, die häufig sogar erfahrene Nutzer täuschen können.

WormGPT ist dabei nur ein Beispiel für die neuesten Erkenntnisse zur Nutzung von Large Language Models (LLMs) im Bereich der Cyberkriminalität. Insbesondere die Rolle der sogenannten „Malla“-Dienste (Malicious LLM Applications) wirft Fragen auf: Eine aktuelle Untersuchung zeigt, dass Cyberkriminelle vermehrt auf „unzensierte“ und frei zugängliche Sprachmodelle zurückgreifen, um diese für bösartige Dienste zu missbrauchen. Die beliebtesten Systeme im Untergrund sind dabei unter anderem OpenAI-Modelle wie GPT-3.5-turbo sowie Open-Source-Modelle wie Luna AI Llama2 Uncensored und Pygmalion-13B

Bedrohung durch Malla-Dienste wie WormGPT: Automatisierung von Cyberkriminalität durch Generative KI weiterlesen

Lokale KI-Lösungen als starke Nischenprodukte?

Im aktuellen Spiegel-Artikel „Microsoft: Wie der Tech-Konzern so mächtig wurde – und noch mächtiger wird“ wird die immense Macht und Dominanz von Microsoft in der modernen digitalen Welt und die weitreichende Abhängigkeit beleuchtet, die sowohl Unternehmen als auch Staaten von den Technologien des Tech-Giganten haben. Der Artikel zeigt auf, dass Microsoft, einst durch Windows und Office bekannt, heute mit seiner Cloud-Plattform und KI-Lösungen tief in vielen Lebensbereichen verankert ist – von Schulen über Behörden bis hin zur Landwirtschaft.

Lokale KI-Lösungen als starke Nischenprodukte? weiterlesen

Bußgelder im AI-Act: Ein Überblick über das Sanktionsregime der KI-VO

Der AI-Act oder auch die KI-VO, die neue Verordnung der Europäischen Union zur Regulierung von Künstlicher Intelligenz, sieht strenge Regelungen vor, die den sicheren und ethischen Einsatz von KI-Systemen gewährleisten sollen. Ein zentrales Element dieser Verordnung sind die hohen Bußgelder, die bei Verstößen gegen die Vorschriften drohen. Doch wie genau sieht das Sanktionsregime in der Praxis aus, und welche zusätzlichen Maßnahmen können Mitgliedstaaten ergreifen?

Bußgelder im AI-Act: Ein Überblick über das Sanktionsregime der KI-VO weiterlesen

Vorsicht bei Studien zu großen Sprachmodellen (LLMs)

Eine frühere Studie mit dem Titel „Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process“, stellte die Leistungsfähigkeit von Transformer-Modellen bei der Lösung elementarer mathematischer Textaufgaben in den Mittelpunkt. Diese Arbeit behauptet, tiefgreifende Einsichten in die Fähigkeiten von großen Sprachmodellen (LLMs) zu liefern.

Jedoch zeigt eine kritische Analyse von Ernest Davis von der New York University, dass diese Studie ein hervorragendes Beispiel dafür ist, wie vorsichtig man bei der Bewertung und Interpretation von Forschungsergebnissen im Bereich der LLMs sein muss.

Vorsicht bei Studien zu großen Sprachmodellen (LLMs) weiterlesen

Vertragliche Auswirkungen behördlicher Warnung vor Virenschutzsoftware

Das BSI warnte vor dem Einsatz von Kaspersky-Virenschutz-Software – doch welche vertraglichen Auswirkungen hat diese Warnung auf laufende Verträge? Eine Antwort liegt nun bei

Das Landgericht München I hat am 13. Dezember 2023 im Urteil (Az. 29 O 1152/23) zentrale Fragen zur mietvertraglichen Überlassung von Software, zur Definition von Mängeln bei Software, zur Auswirkung von öffentlich-rechtlichen Sanktionen auf die Nutzung von Software und zum Wegfall der Geschäftsgrundlage behandelt. Das Urteil bietet eine erstmalige umfassende rechtliche Analyse und Argumentation zu diesen komplexen Themen.

Vertragliche Auswirkungen behördlicher Warnung vor Virenschutzsoftware weiterlesen

Datenschutz bei KI – Rechtliche Herausforderungen und Lösungen für Unternehmen

Der Datenschutz im Kontext von Künstlicher Intelligenz (KI) ist ein komplexes und dynamisches Thema, das Unternehmen vor vielfältige Herausforderungen stellt.

Die Entwicklung und der Einsatz von KI-Technologien erfordern nicht nur technische Innovationen, sondern auch die Einhaltung strenger rechtlicher Rahmenbedingungen, insbesondere in der EU und Deutschland. In diesem Blog-Beitrag werden die wichtigsten rechtlichen Probleme und Anforderungen des Datenschutzes bei der Entwicklung und dem Einsatz von KI in Unternehmen erläutert.

Datenschutz bei KI – Rechtliche Herausforderungen und Lösungen für Unternehmen weiterlesen

Ethik im AI-Act

Der AI-Act der Europäischen Union integriert ethische Grundsätze in verschiedenen Artikeln und Abschnitten, um sicherzustellen, dass KI-Systeme sicher, vertrauenswürdig und im Einklang mit den Werten der EU gestaltet und genutzt werden. Ich möchte eine kurze Übersicht der wesentliche Artikel des AI_Act geben, in denen Ethik oder ethische Überlegungen eine Rolle spielen.


1. Einhaltung ethischer und beruflicher Standards (Artikel 2)

Artikel 2 betont, dass Forschungs- und Entwicklungsaktivitäten im Bereich KI in Übereinstimmung mit anerkannten ethischen und professionellen Standards für wissenschaftliche Forschung durchgeführt werden müssen.

2. Risikobasierter Ansatz und ethische Leitlinien (Erwägungsgrund 27)

Der AI-Act verfolgt einen risikobasierten Ansatz und verweist auf die 2019 veröffentlichten Ethikleitlinien für vertrauenswürdige KI der unabhängigen Hochrangigen Expertengruppe für Künstliche Intelligenz (AI HLEG). Diese Leitlinien beinhalten sieben ethische Prinzipien: menschliche Handlungsfähigkeit und Aufsicht, technische Robustheit und Sicherheit, Datenschutz und Datenmanagement, Transparenz, Vielfalt, Nichtdiskriminierung und Fairness, gesellschaftliches und ökologisches Wohlergehen sowie Rechenschaftspflicht.

3. Förderung von Codes of Conduct (Artikel 56 und Artikel 95)

Anbieter von KI-Systemen werden ermutigt, freiwillige Verhaltenskodizes zu erstellen, die Elemente der ethischen Leitlinien der EU für vertrauenswürdige KI enthalten. Diese Verhaltenskodizes sollen helfen, die ethischen Anforderungen in der Praxis umzusetzen und sicherzustellen, dass KI-Systeme inklusiv und nachhaltig entwickelt und genutzt werden.

4. Menschliche Kontrolle und Aufsicht (Erwägungsgrund 7)

Der AI-Act betont die Bedeutung der menschlichen Kontrolle und Aufsicht über KI-Systeme, um sicherzustellen, dass diese als Werkzeuge dienen, die den Menschen unterstützen und deren Würde und Autonomie respektieren.

Anwendung philosophischen Wissens zur Ethik

Philosophisches Wissen zur Ethik kann bei der Umsetzung des AI-Acts in mehreren Bereichen von großer Bedeutung sein: Durch die Integration philosophischen Wissens in die Umsetzung des AI-Acts können Unternehmen sicherstellen, dass ihre KI-Systeme nicht nur rechtlichen Anforderungen entsprechen, sondern auch ethisch verantwortungsvoll und gesellschaftlich akzeptabel sind. Dies fördert Vertrauen und damit Absatz sowie Bindung an Kunden.

  • Risikobewertung und Management: Philosophische Ansätze zur Ethik können helfen, eine fundierte Risikobewertung durchzuführen, indem sie tiefere Einblicke in die potenziellen sozialen und moralischen Auswirkungen von KI-Systemen bieten.
  • Entwicklung ethischer Leitlinien: Philosophisches Wissen ist entscheidend für die Entwicklung und Implementierung von Verhaltenskodizes und ethischen Leitlinien, die sicherstellen, dass KI-Systeme im Einklang mit den Werten der Gesellschaft stehen.
  • Transparenz und Erklärbarkeit: Philosophische Diskussionen über Transparenz und Verantwortung können dazu beitragen, dass KI-Systeme so gestaltet werden, dass ihre Funktionsweise und Entscheidungen für die Nutzer nachvollziehbar und verständlich sind.
  • Nichtdiskriminierung und Fairness: Philosophische Theorien zur Gerechtigkeit und Fairness können dabei helfen, Diskriminierung zu erkennen und zu vermeiden sowie sicherzustellen, dass KI-Systeme gerecht und inklusiv sind.
  • Nachhaltigkeit und gesellschaftliches Wohlergehen: Ethische Überlegungen zur Nachhaltigkeit können dazu beitragen, dass KI-Systeme entwickelt werden, die langfristig positive Auswirkungen auf die Gesellschaft und die Umwelt haben.

5. Technische Robustheit und Sicherheit (Artikel 9)

Artikel 9 fordert, dass KI-Systeme robust und widerstandsfähig gegenüber Problemen und Versuchen sind, die Nutzung oder Leistung des KI-Systems zu ändern. Dies soll unrechtmäßige Nutzung durch Dritte verhindern und unbeabsichtigte Schäden minimieren.

6. Datenschutz und Datenmanagement (Artikel 10)

KI-Systeme müssen gemäß den Datenschutzbestimmungen entwickelt und genutzt werden. Dies umfasst die Verarbeitung von Daten, die hohe Standards in Bezug auf Qualität und Integrität erfüllen, und die Gewährleistung, dass die Rechte der Betroffenen respektiert werden.

7. Transparenz (Artikel 13 und Artikel 52)

Der AI-Act legt großen Wert auf Transparenz bei der Entwicklung und Nutzung von KI-Systemen. Nutzer müssen darüber informiert werden, dass sie mit einem KI-System interagieren, und über die Fähigkeiten und Grenzen des Systems sowie über ihre Rechte aufgeklärt werden.

8. Vielfalt, Nichtdiskriminierung und Fairness (Erwägungsgrund 27 und Artikel 95)

KI-Systeme sollen so entwickelt und genutzt werden, dass sie verschiedene Akteure einbeziehen und gleichen Zugang, Geschlechtergerechtigkeit und kulturelle Vielfalt fördern. Diskriminierende Auswirkungen und unfaire Voreingenommenheiten müssen vermieden werden.

9. Gesellschaftliches und ökologisches Wohlergehen (Erwägungsgrund 7 und Artikel 9)

KI-Systeme sollen nachhaltig und umweltfreundlich entwickelt und genutzt werden und dem Wohlergehen aller Menschen dienen. Die langfristigen Auswirkungen auf Individuen, Gesellschaft und Demokratie sollen kontinuierlich überwacht und bewertet werden.


Ausblick

Der AI-Act integriert ethische Grundsätze in verschiedenen Artikeln und Abschnitten, um sicherzustellen, dass KI-Systeme im Einklang mit den Werten der EU entwickelt und genutzt werden. Diese umfassenden ethischen Anforderungen fördern das Vertrauen der Öffentlichkeit in KI und unterstützen die Schaffung eines europäischen Ökosystems für sichere und vertrauenswürdige KI.