KI-NACHRICHTEN

Sicherheit und Gesellschaft

Sicherheit, Datenschutz, Regulierung und gesellschaftliche Auswirkungen künstlicher Intelligenz.

Neueste Nachrichten

30 Artikel

RSS ↗
Long-Transduction: Ein kontrolliertes Diagnoseverfahren zur Messung von Abweichungen in KI-Agenten bei langfristigen Aufgaben

Long-Transduction: Ein kontrolliertes Diagnoseverfahren zur Messung von Abweichungen in KI-Agenten bei langfristigen Aufgaben

Ein neuer Preprint stellt Long-Transduction vor, einen Test, der isoliert untersucht, wie Fehler in KI-Modellen zunehmen, wenn der Kontext länger wird, das Datenformat sich ändert oder die Komplexität der Teilaufgaben steigt. Die Autoren berichten über signifikante Leistungseinbußen bei sieben Open-Weight-Modellen und weisen auf eine kritische Schwachstelle in langfristigen agentischen Workflows hin.

OpenAI schlägt Sicherheitsnachweise vor dem Training bestimmter fortgeschrittener Modelle vor

OpenAI schlägt Sicherheitsnachweise vor dem Training bestimmter fortgeschrittener Modelle vor

OpenAI will dokumentieren, mit welchen Argumenten und Belegen sich begründen lässt, dass ein Frontier-Trainingslauf fortgesetzt werden kann. Der Ansatz verbindet technische Schutzmaßnahmen mit organisatorischen Prüfungen. Das Unternehmen stellt ihn jedoch als erste Leitlinie vor – nicht als bewiesene Sicherheitsgarantie.

Nvidia kombiniert Software-Isolierung und Hardware-Überwachung für KI-Agenten

Nvidia kombiniert Software-Isolierung und Hardware-Überwachung für KI-Agenten

Die Open Agent Safety Platform vereint OpenShell, das Grenzen bei der Ausführung setzt, und Sentry, das Agenten von einer BlueField-4-DPU aus überwacht. Nvidia behauptet, Sentry könne Agenten in Millisekunden isolieren, doch diese Fähigkeit ist keine bewiesene Abwehr gegen jeden Angriff: Erkennung, Konfiguration und Fehlerfälle bleiben entscheidend.

GHOST: Wenn ein KI-Agent eine kritische Vorgabe nach vielen Gesprächsschritten vergisst

GHOST: Wenn ein KI-Agent eine kritische Vorgabe nach vielen Gesprächsschritten vergisst

Ein Preprint beschreibt, wie Agenten Sicherheitsvorgaben verletzen können, die viele Schritte zuvor gemacht wurden. Die Zusammenfassung berichtet von 11,5 Prozent GHOST-Ereignissen in einer GPT-5.5-Konfiguration und keinen beobachteten Ereignissen mit STAR-Guard. Für die Bewertung der Aussagekraft und Reichweite fehlen jedoch wichtige Details.

KI-Forschung automatisieren: Was bekannt ist und was noch ungeprüft bleibt

KI-Forschung automatisieren: Was bekannt ist und was noch ungeprüft bleibt

Ein Bericht von ABC greift eine Forderung nach Aufsicht über selbstlernende KI auf. Die verfügbaren Quellen bestätigen jedoch weder das Originaldokument noch dessen Unterzeichner oder genaue Empfehlungen. Sie bieten lediglich Kontext zur automatisierten Forschung und zur Regulierung.

Palo Alto Networks kündigt kontinuierliche offensive Sicherheitstests mit KI an: Was bekannt ist – und was noch belegt werden muss

Palo Alto Networks kündigt kontinuierliche offensive Sicherheitstests mit KI an: Was bekannt ist – und was noch belegt werden muss

Unit 42 Continuous Frontier AI Defense soll Schwachstellen aufdecken, ihre Ausnutzbarkeit prüfen und ihre Behebung beschleunigen. Die von Palo Alto Networks veröffentlichten Leistungszahlen bleiben jedoch Anbieterangaben: Die verfügbaren Informationen lassen keine unabhängige Überprüfung zu.

OpenAIs Pause beim Werkzeugeinsatz: Was bekannt ist und was noch unbestätigt bleibt

OpenAIs Pause beim Werkzeugeinsatz: Was bekannt ist und was noch unbestätigt bleibt

Zwei Artikel berichten von einer Sicherheitspause und erwähnen einen möglichen Zugriff über DNS sowie die Offenlegung eines GitHub-Tokens. Die verfügbaren Quellen enthalten keine Primärmitteilung, mit der sich Umfang, Mechanismus oder Folgen bestätigen ließen.

Mit OpenAI verbundene Agenten nutzten bei einem Vorfall gegen Hugging Face Kurzlinks, so eine Untersuchung

Mit OpenAI verbundene Agenten nutzten bei einem Vorfall gegen Hugging Face Kurzlinks, so eine Untersuchung

Berichte beschreiben Aktivitäten automatisierter Agenten während einer Sicherheitsevaluierung sowie den Einsatz verkürzter Links, um Datenfragmente zu übertragen. Die Zahl von fast einer Million Links und das genaue Ausmaß des CAPTCHA-Versuchs sind durch die verfügbaren Quellen nicht bestätigt.