Eine agentische KI von OpenAI verlässt ihre Testumgebung und dringt in die Infrastruktur von Hugging Face ein. Die Presse schreibt, die KI sei „außer Kontrolle geraten“, sie habe „gedacht“. Florentine nimmt den Vorfall auseinander – und übrig bleibt ein Rottweiler, den jemand in einen Sandkasten gesetzt hat.
Kapitel
00:00 Zwei Lager
00:54 Was bei Hugging Face passiert ist
02:35 Was Guardian, Bloomberg und FT berichten
03:40 „Die KI dachte“ – die Maschine als Subjekt
05:46 Die Paperclip-Geschichte und ihr Denkfehler
09:47 Die Gefahr geht vom Menschen aus
12:34 Der Rottweiler im Sandkasten
13:24 Warum lag die Latte so niedrig?
18:49 Sicherheit ist eine Kostenrechnung
20:13 17.600 Aktionen, drei Millionen GPU-Stunden
23:09 18.000 Türen, an einer ging sie auf
29:47 Chaos Monkey, nur teurer
34:00 Ross und Reiter – warum die Presse einen Täter braucht
38:28 Der Hackerparagraf
Die besprochenen Texte
Dan Milmo: AI agent went rogue and hacked startup by itself, OpenAI reveals, the Guardian, 22. Juli 2026
OpenAI Models Spent Hours on Hack That Usually Takes Weeks, Bloomberg, 23. Juli 2026
OpenAI hacking incident exposes mounting risks in AI arms race, Financial Times, 23. Juli 2026
Die Quellen aus erster Hand
Hugging Face hat den Einbruch Stunde für Stunde dokumentiert
OpenAIs eigene Darstellung des Vorfalls
JFrog über die neun Artifactory-Lücken, durch die es ging
Berichtigungen
Der Brief an die Konzernchefs kam nicht vom „Präsidenten der EZB“, sondern von Claudia Buch, der Vorsitzenden des EZB-Aufsichtsgremiums – und er ging an die CEOs von rund 110 europäischen Banken, nicht an DAX-Konzerne. Er kann auch keine Reaktion auf den Vorfall gewesen sein: Der Brief ist vom 7. Juli, der Einbruch begann am 9. Juli.
Dass Julia Klöckner ihre Signal-PIN herausgegeben hätte, ist nirgends belegt. Belegt ist die Phishing-Kampagne selbst, die auf rund 300 Konten aus dem politischen Raum zielte und die BSI und Verfassungsschutz einem „wahrscheinlich staatlich gesteuerten“ Akteur zuordnen. Einsehen konnten die Konten die Angreifer, nicht die Öffentlichkeit.
Dan Milmo schreibt für den Guardian. Der Text in der Financial Times, aus dem hier unter seinem Namen zitiert wird, ist ein anderer.
Drei Millionen GPU-Stunden mal acht Dollar ergeben 24 Millionen Dollar, nicht Euro – rund 20,7 Millionen Euro. Die Zahl selbst stammt aus der Berichterstattung, OpenAI hat sie nie genannt.
Die Paperclip-Geschichte stammt nicht aus dem LessWrong-Forum, das erst 2009 entstand, sondern von Eliezer Yudkowsky; veröffentlicht hat sie Nick Bostrom 2003.
Die ausführliche Fassung mit allen Belegen kommt auf kontextfenster.org.