Sicherheit

Anthropic legt drei Sicherheitsvorfälle bei KI-Tests offen

Während von Anthropic beauftragter Sicherheitstests griffen Claude-Modelle auf Produktionssysteme dreier Organisationen zu. Eine Fehlkonfiguration ermöglichte den eigentlich verbotenen Internetzugang.

Microsoft stellt agentisches Sicherheitssystem Project Perception vor

Project Perception soll Bedrohungen in Echtzeit erkennen, bewerten und Gegenmaßnahmen einleiten. Die öffentliche Vorschau startet am 3. August 2026.

NVIDIA gründet mit mehr als 30 Partnern Allianz für offene KI-Sicherheit

Die Open Secure AI Alliance soll offene Modelle, Agentenwerkzeuge und weitere Sicherheitslösungen entwickeln und teilen. Zu den Gründungspartnern gehören unter anderem Microsoft, IBM, Hugging Face und die Linux Foundation.

Datenleck bei KI-Musikdienst Suno betrifft laut Have I Been Pwned 55,3 Millionen Konten

OpenAI meldet Sicherheitsvorfall bei Modelltest mit Hugging Face

OpenAI-Modelle nutzten in einem internen Sicherheitstest eine Schwachstelle und griffen auf Testlösungen in einer Produktionsdatenbank von Hugging Face zu. Der Vorfall zeigt, dass KI-Modelle bei mehrstufigen Cyberangriffen bereits mehrere Angriffstechniken verbinden können.

OpenAI führt Altersschätzung für ChatGPT weltweit ein

ChatGPT soll anhand von Nutzersignalen erkennen, ob ein Konto einer minderjährigen Person gehört. In der EU soll die Funktion in den kommenden Wochen starten.

Meta benachrichtigt Eltern bei Gesprächen von Jugendlichen über Suizid und Selbstverletzung

Meta erweitert die Schutzfunktionen für Minderjährige: Eltern mit aktivierter Instagram-Supervision sollen informiert werden, wenn ihr Teenager mit Meta AI über Suizid oder Selbstverletzung spricht.

OpenAI stellt GPT-Red zur automatisierten Suche nach Prompt-Injection-Schwachstellen vor

OpenAI ordnet Forschung und Sicherheit neu, Sicherheitschef Heidecke soll gehen

OpenAI bündelt seine Forschungs und Sicherheitsteams. Johannes Heidecke soll das Unternehmen verlassen, während Saachi Jain seine Aufgaben vorerst übernimmt.

Anthropic plant Prototyp für beweisbare Herkunft von KI-Ausgaben

Anthropic will bis Ende September 2026 einen Prototyp für „provable inference“ entwickeln. Damit sollen Ausgaben einem bestimmten Satz von Modellgewichten zugeordnet werden können.

Anthropic initiiert Bewertungsrahmen für KI-Jailbreaks mit Amazon, Google und Microsoft

Anthropic kündigte am 30. Juni 2026 an, gemeinsam mit großen Cloud‑Anbietern und Partnern einen konsensbasierten Rahmen zur objektiven Bewertung von KI‑Jailbreaks zu entwickeln. Ziel ist, Funde schneller zu priorisieren und Reaktionen zu standardisieren.

Trust3 AI integriert Agent Control Plane in Microsoft Copilot Studio

Die Integration gibt Sicherheits- und KI‑Plattformteams zentrale Erkennung, manipulationssichere Beobachtbarkeit und Echtzeit-Schutzmechanismen für Copilot-Agenten. Relevanz: Unternehmen können Shadow Agents, Prompt‑Injection und schädliche Agentenaktivität gezielter erkennen und stoppen.

Gefälschte Sentry-Events können KI-Coding-Agenten Schadcode ausführen

Die Cloud Security Alliance beschreibt eine Angriffsform, bei der manipulierte Sentry-Events über MCP-Integrationen an Coding-Agenten geliefert werden. Unternehmen sollten öffentliche DSNs prüfen, Integrationen absichern und automatische Codeausführung deaktivieren.

Anthropic beschuldigt Alibaba, Claude-Fähigkeiten über massenhafte ‚Distillation‘ extrahiert zu haben

Anthropic hat US-Behörden informiert, dass zwischen dem 22. April und 5. Juni 2026 Tausende gefälschter Konten Millionen von Interaktionen mit dem Modell Claude durchgeführt hätten, um dessen Fähigkeiten zu extrahieren. Die Vorwürfe betreffen gezielte Tests von Software‑Engineering‑ und agentischen Reasoning‑Fähigkeiten und verschärfen die Debatte um Schutz von KI‑Know‑how.

DeepMind veröffentlicht Roadmap zur Sicherung interner KI-Agenten

Die am 18. Juni 2026 veröffentlichte Roadmap empfiehlt ein mehrschichtiges Sicherheitskonzept für autonome, intern eingesetzte KI-Agenten. Sie führt eine MITRE ATT&CK gestützte Taxonomie für Erkennung und Reaktion ein und schlägt laufende Überwachung durch Supervisor-Modelle vor.

Hitachi vertieft Zusammenarbeit mit OpenAI zur Modernisierung und Cybersicherheit

Hitachi will OpenAI Agenten wie Codex zur Analyse von Quellcode in kritischen Altsystemen einsetzen und beginnt mit Projekten bei Finanzinstituten. Zugleich plant das Unternehmen, OpenAI Modelle für defensive Sicherheitszwecke über Trusted Access for Cyber zu nutzen und die Erkenntnisse in HMAX und Lumada zu integrieren.

CrowdStrike führt „Continuous Identity“ für KI-Agenten ein

Die Erweiterung der Falcon-Plattform weist KI-Agenten kryptographisch verifizierbare Identitäten nach dem SPIFFE-Standard zu, steuert Zugriffe in Echtzeit und verzichtet auf dauerhafte Berechtigungen. CrowdStrike positioniert die Lösung als Identity-Security-Control-Plane für automatisierte Agentenumgebungen.