Alle Texte, Zitate und das ganze Gespräch zum Nachlesen: kontextfenster.org/folge-009-was-yudkowsky-vernunft-nennt.html
Woran glauben die Leute, die KI bauen? Florentine folgt der Spur von OpenAIs Model Spec und Claudes Verfassung zurück zu Eliezer Yudkowsky, dem Gründer von LessWrong, und zu seinem Harry-Potter-Roman. Ihre These: Wer Vernunft als eine einzige Rechnung ausgibt, beansprucht die Entscheidung für alle. Stefan fragt, warum die Branche Manifeste schreibt, statt mit den Universitäten zu reden. Das letzte Wort hat Hermine.
Kapitel
00:00 Wer ist hier der Doomer?
00:14 Woran glauben die KI-Leute?
02:23 OpenAIs Model Spec: wer wen überschreibt
04:49 Wer regelt die Gefahren?
07:17 Eine zerstrittene Clique
08:08 Eine heiße Geschichte im Zug
10:32 Claudes Verfassung: ein gestuftes System
14:10 Der Maßstab ist ein Anthropic-Mitarbeiter
16:22 Eine Verfassung, die niemand mitschreibt
19:01 Amodei: Menschen als Marionetten
23:31 Die existenzielle Gefahr bin ich
27:55 The Adolescence of Technology
29:49 Bei Hugging Face ist OpenAI schuld
32:10 Der verstörte Einzelgänger
34:08 Musk, Starlink und Kiew
34:54 Eine Verfassung für Claudes Psyche
38:28 Eliezer Yudkowsky und LessWrong
39:05 HPMOR, Kapitel 75: Harry und Hermine
42:53 Longtermism: kleine Opfer heute
46:06 2.500 Taschenbücher für MIRI
49:59 Alice tauscht Äpfel gegen Orangen
52:46 Die Suche nach der einheitlichen Vernunft
54:01 Das Peter-Konto
55:07 Robert, der Krankenhausverwalter
59:43 Florentines Bachelorarbeit: viele Ziele
1:01:38 Porsche oder Espace?
1:02:58 Karp, Habermas und die Soziologie
1:05:43 Die verlorene einheitliche Vernunft
1:07:05 If Anyone Builds It, Everyone Dies
1:08:40 Das Büroklammer-Szenario
1:11:45 Thiel und der Antichrist
1:12:48 Kann man die KI zufriedenstellen?
1:14:58 Wheelan: Ranglisten ohne Maß
1:16:16 Thornley: keine Kohärenztheoreme
1:17:17 Formeln als Humbug
1:23:54 Spiele mit unvollständigen Präferenzen
1:24:56 Coherent Extrapolated Volition
1:30:28 Kein Problem mit Diktatur, weil Mathe
1:32:37 Augustinus, Hubbard, Moon: die Retter
1:34:50 Roko's Basilisk
1:36:53 Yudkowsky löscht den Basilisken
1:39:09 Bostroms Pille gegen das Fitnessstudio
1:41:44 Altman: Eliezer hat am meisten beschleunigt
1:44:31 Anthropic fasst die Nutzer zusammen
1:47:54 Gesprächsende und Grundrechte
1:49:07 Hermine hat das letzte Wort
1:50:08 Claude weiß, was wichtig ist
1:53:15 Stilles Umlenken statt Nein
1:54:56 Local AI und Open Source
1:56:22 Ohne Menschen keine Funktion
1:58:11 Nur eine Oblate
Florentines Quellen, mit Links auf der Folgenseite
OpenAI · Anthropic · Dario Amodei · Eliezer Yudkowsky · Luke Muehlhauser · Nate Soares · Charles Wheelan · Elliott Thornley · Juho Kokkala u. a. · Augustinus · L. Ron Hubbard · Sun Myung Moon · Roko · Sam Altman · Theodore Sumers u. a. · Bundesverfassungsgericht · Grundgesetz
Berichtigungen, alle 43 ausführlich auf der Folgenseite
07:17 OpenAI gründeten 2015 Musk, Altman, Sutskever und Brockman. Amodei kam erst 2016.
33:47 Dario Amodei hat Trump nicht unterstützt.
34:08 Starlink wurde am 14.10. für schnelle Militärterminals gedrosselt, kein Internet-Aus.
39:00 HPMOR erschien von 2010 bis 2015, nicht um 2000.
47:12 MIRI ist ein gemeinnütziges Institut, für Geldwäsche gibt es keinen Hinweis.
1:01:22 Yudkowsky verschweigt nicht, dass sein Theorem keine Gewichte vorgibt.
1:03:01 Alex Karp wurde bei Karola Brede promoviert, nicht bei Habermas.
1:20:56 Nobelpreise für Biologie oder Mathematik gibt es nicht.
1:36:40 Das Höllen-Szenario stammt von Roko, nicht von MIRI. Yudkowsky löschte es.