Back

Explore every episode of the podcast Knowledge Science - Alles über KI, ML und NLP

Dive into the complete episode list for Knowledge Science - Alles über KI, ML und NLP. Each episode is cataloged with detailed descriptions, making it easy to find and explore specific topics. Keep track of all episodes from your favorite podcast and never miss a moment of insightful content.

Rows per page:

1–50 of 261

TitlePub. DateDuration
Episode 201 - KI-Gehirnwäsche? Wie man Sprachmodelle umprogrammiert – Ethik vs. Innovation26 Apr 202500:40:38

Send us a text

In dieser Folge von Knowledge Science enthüllen Sigurd Schacht und Carsten Lanquillon, wie synthetisches Document Feintuning die „Überzeugungen“ von KI-Modellen verändert. Vom Löschen schädlichen Wissens bis zur Manipulation von Fakten diskutieren sie Chancen, technische Fallstricke und die brisante Frage: Darf man KI umerziehen, und wenn ja, wer kontrolliert es? Ein Must-Listen für alle, die verstehen wollen, wie flexibel – und fragil – moderne KI wirklich ist.

Basis dieser Diskussion ist der spannende Blogbeitrag von: https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/


Bitte beachten Sie auch unseren KI generierten Podcast der Montag bis Freitag in 5 minuten neue KI Meldungen zusammenfasst: 

Spotify: https://open.spotify.com/show/539yw3KWHsf5oke4a2PBOZ

Apple: https://podcasts.apple.com/de/podcast/knowledge-science-pulse/id1810890448

Support the show

AI Generated (E): KS Pulse - AI Alignment and Complex Problem Solving25 Apr 202500:03:39

Send us a text

English Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving - https://arxiv.org/pdf/2502.16111

Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs - https://arxiv.org/pdf/2502.17424 

Support the show

KI generiert (D): KS Pulse - AI Alignment and Complex Problem Solving25 Apr 202500:04:01

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving - https://arxiv.org/pdf/2502.16111

Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs - https://arxiv.org/pdf/2502.17424

Support the show

KI generiert (D): KS Pulse - Long Chain-of-Thought and the Need for AI Safety in Complex Reasoning24 Apr 202500:03:40

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Safety is Essential for Responsible Open-Ended Systems - https://arxiv.org/pdf/2502.04512

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?- https://arxiv.org/pdf/2502.19361

Support the show

AI Generated (E): KS Pulse - Long Chain-of-Thought and the Need for AI Safety in Complex Reasoning24 Apr 202500:03:13

Send us a text

English Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Safety is Essential for Responsible Open-Ended Systems - https://arxiv.org/pdf/2502.04512

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?- https://arxiv.org/pdf/2502.19361

Support the show

KI generiert (D): KS Pulse - Automatic Prompt Optimization via Heuristic Search23 Apr 202500:04:30

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Automatic Prompt Optimization via Heuristic Search: A Survey - https://arxiv.org/pdf/2502.18746

Support the show

AI Generated (E): KS Pulse - Automatic Prompt Optimization via Heuristic Search23 Apr 202500:04:14

Send us a text

English Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Automatic Prompt Optimization via Heuristic Search: A Survey - https://arxiv.org/pdf/2502.18746

Support the show

KI generiert (D): KS Pulse - Scaling Smarter The Art of Deliberate Practice in AI22 Apr 202500:03:56

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Taxonomy, Opportunities, and Challenges of Representation Engineering for Large Language Models  -  https://arxiv.org/pdf/2502.19649

Improving the Scaling Laws of Synthetic Data with Deliberate Practice - https://arxiv.org/pdf/2502.15588

Support the show

AI Generated (E): KS Pulse - Scaling Smarter The Art of Deliberate Practice in AI22 Apr 202500:03:34

Send us a text

English Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Taxonomy, Opportunities, and Challenges of Representation Engineering for Large Language Models  -  https://arxiv.org/pdf/2502.19649

Improving the Scaling Laws of Synthetic Data with Deliberate Practice - https://arxiv.org/pdf/2502.15588

Support the show

KI generiert (D): KS Pulse - Math, Minds, and Machines How Small Models Think Deeply21 Apr 202500:04:11

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers - https://arxiv.org/pdf/2409.04109

rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking - https://arxiv.org/pdf/2501.04519 

Für 14 Tage führen wir das Experiment durch.

Support the show

AI Generated (E): KS Pulse - Math, Minds, and Machines How Small Models Think Deeply21 Apr 202500:03:42

Send us a text

Englisch Version - The German Version also exists, but the content differs minimally:

AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers - https://arxiv.org/pdf/2409.04109

rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking - https://arxiv.org/pdf/2501.04519 

Support the show

Episode 200 - Live ! in der Podcast Brause - Rückblick und Ausblick zu Cypernetic Teammates18 Apr 202500:35:48

Send us a text

In der 200. Jubiläumsfolge von "Knowledge Science" reflektieren Sigurd Schacht und Carsten Lanquillon über die Anfänge, Entwicklungen und Überraschungen ihres Podcasts. Von der Entstehung des Formats bis hin zu aktuellen Themen wie teamfähige KIs und deren Einsatz im Unternehmenskontext, verbringen die Hosts eine inspirierende Reise durch die Welt der KI. Hören Sie zu, wie sich Podcasting als Weg zur Entmystifizierung von Technik bewährt hat – oft mit einem Augenzwinkern. 

Diese Folge ist anders als unserer bisherigen. Live - Humoristisch - Rück- und Ausblick. Wir feiern mit dieser Folge unsere 200. Podcast und das wir seit 2021 mit freuden an dem Podcast drangeblieben sind. Über nette Hörerfeedbacks freuen wirs uns zu unseren Podcast freuen wir uns sehr. Sollen wir noch weitere 100 Episoden machen?

Es wird auch eine 4. Staffel von Podcast Brause geben. Am besten gleich mit anmelden: https://podcast-brause.de/

Support the show

Episode 199 - AI Control: Kontrolle und Künstliche Intelligenz - Wege zur sicheren Superintelligenz13 Apr 202500:37:16

Send us a text

In der 199. Folge von Knowledge Science betrachten Sigurd Schacht und Carsten Lanquillon ein aktuelles Paper zur Kontrolle von LLM-Agenten. Sie diskutieren die Herausforderungen und Strategien zur Eindämmung unerwünschten Verhaltens bis hin zur Superintelligenz und vergleichen diese mit traditionellen Wirtschaftsprüfungen. Ein Muss für alle, die die Steuerung fortschrittlicher KI-Modelle besser verstehen wollen!

Korbak et.al.: How to evaluate control measures for LLM agents? https://arxiv.org/pdf/2504.05259v1

📅 **Verpassen Sie nicht das Live-Event:** Mittwoch, 16. April, 18:30 Uhr im Club Stereo, Nürnberg. Feiern Sie mit uns die 200. Episode und knüpfen Sie spannende Kontakte!


Support the show

Episode 198 - Personal Context Management revolutioniert NLP05 Apr 202500:31:30

Send us a text

In dieser Podcast-Folge stellen Sigurd Schacht und Carsten Lanquillon das Konzept eines "Personal Context Managers" vor, der die Arbeit mit verschiedenen KI-Sprachmodellen effizienter gestaltet. Die Idee besteht darin, persönliche Präferenzen, Projektziele und Wissensstände in einer strukturierten Datei zu speichern, die zu Beginn jeder KI-Konversation geteilt werden kann. Sigurd berichtet von seiner positiven Erfahrung mit dieser Methode bei einem Forschungsprojekt, wobei das KI-Modell maßgeschneiderte Antworten mit Visualisierungen lieferte. Besonders wertvoll ist die Möglichkeit, das Kontext-File am Ende einer Sitzung durch das KI-Modell aktualisieren zu lassen, sodass es mit dem Wissensfortschritt mitwächst. Die Hosts sehen großes Potenzial für den Einsatz in der Bildung, wo Dozenten Kurs-Kontext-Files erstellen könnten, die Studierende mit ihren individuellen Präferenzen kombinieren würden. Die Idee stammt von dem Backend-Entwickler Mike Shevchenko und ist laut den Hosts überraschend einfach umzusetzen und dabei enorm wirksam.

https://github.com/mikhashev/personal-context-manager/tree/main

Support the show

Episode 197 - Wie das Model-Context-Protokoll (MCP) die KI-Welt verändert29 Mar 202500:32:14

Send us a text

Tauchen Sie ein in die spannende Welt des Model-Context-Protokolls (MCP)! In dieser Episode des Knowledge Science Podcasts erkunden wir, wie dieses neuartige Kommunikationsprotokoll die Interaktion zwischen KI-Modellen, Datenbanken und Tools revolutioniert. Sigurd Schacht und Carsten Lanquillon diskutieren die Grundlagen, Vorteile und das Potenzial eines einheitlichen Standards, der die Nutzung von KI in Unternehmen und darüber hinaus transformieren wird.

Support the show

Episode 196 - Wann kommt die Superintelligenz?23 Mar 202500:32:33

Send us a text

In dieser spannenden Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon tief in die Welt der Benchmarks und Evaluierungsmethoden für KI ein. Wie weit sind wir noch von einer KI, die menschliche Aufgaben vollumfänglich ersetzen kann? Welche Faktoren beeinflussen die Messbarkeit von KI-Leistung? Und welche Rolle spielen Reasoning-Modelle in der Zukunft der künstlichen Intelligenz? Entdecken Sie faszinierende Erkenntnisse und diskutierte Prognosen über den aktuellen Stand und die zukünftige Entwicklung von KI.

Paper in dieser Episode: https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/



Support the show

Episode 195 - Die Kunst des Reward Hackings: Wie KI-Systeme den leichtesten Weg finden.15 Mar 202500:37:10

Send us a text

In dieser Episode von "Knowledge Science" diskutieren Sigurd Schacht und Carsten Lanquillon über das vielschichtige Thema des Reward Hacking in KI-Modellen. Anhand des aktuellen Papers von OpenAI tauchen wir tief in die Mechanismen ein, die künstliche Intelligenzen dazu bringen, den einfachsten Weg zur Zielerfüllung zu wählen – und warum das nicht immer gewünscht ist. Außerdem wird die Rolle von Multi-Agenten-Systemen und moralischen Erwägungen beleuchtet. Erfahren Sie, wie diese Dynamiken in realen Anwendungen reflektiert werden und welche spannenden Forschungsfragen sich daraus ergeben. 

Link zum Paper: https://openai.com/index/chain-of-thought-monitoring/

Support the show

Episode 194 - Haben LLMs ein moralisches Grundverständnis?22 Feb 202500:36:55

Send us a text

In dieser Episode des Knowledge Science Podcasts berichten wir über unser aktuelles Paper, in dem wir der Frage nachgegangen sind, ob LLMs ein inneres Moralverständnis haben bzw. entwickeln. Könen wir spezielle Bereiche des Sprachmodells identifizieren, das für Moral zuständig ist und können wir diese Bereiche beeinflussen. Außerdem beleuchten wir die aufregende Bewegung hin zu Open Science und wie internationale Zusammenarbeit dabei eine wichtige Rolle spielt. 

Link zum Blog: https://www.coairesearch.org/research/mapping-moral-reasoning

Support the show

Episode 193 - IASEAI and AI Summit Conference Paris - Innovation versus Safety in Europa15 Feb 202500:35:35

Send us a text

Entdecken Sie die aufregenden Entwicklungen und die drängenden Herausforderungen im Bereich der künstlichen Intelligenz. Sigurd Schacht und Carsten Lanquillon diskutieren die jüngsten KI-Gipfel in Europa sowie die erste Konferenz zu Safe & Ethical AI (International Association for Safe & Ethical AI), beleuchten das Mega-Wettrüsten um die KI-Superintelligenz und hinterfragen, wie Regulierung, Safety und Innovation Hand in Hand gehen können, um eine sichere Zukunft zu gestalten.

Support the show

Episode 192 - COAI Research - Human Compatible AI05 Feb 202500:37:41

Send us a text

In dieser Episode des Knowledge Science Podcasts diskutieren Sigurd Schacht und Carsten Lanquillon die Gründung des neuen Forschungsinstituts COAI Research und dessen wichtige Rolle für die Entwicklung sicherer, menschenorientierter Künstlicher Intelligenz.

Die beiden Podcaster stellen ihre Vision vor, COAI zu einem der führende Forschungsinstitut der EU im Bereich Human Compatible AI zu etablieren. COAI Research konzentriert sich auf systematische Analysen und Risikominderung bei KI-Systemen, um sicherzustellen, dass diese mit menschlichen Werten und Zielen in Einklang stehen. Zentrale Forschungsschwerpunkte sind:

  • AI Control und Alignment-Analyse
  • Risiko-Erkennung und -Minderung (inkl. Red-Teaming)
  • Interpretierbarkeit von KI-Systemen mit Fokus auf Sicherheit
  • Analyse der Verarbeitung menschlicher Werte in KI-Systemen

Die Episode gibt außerdem Einblicke in aktuelle Forschungsprojekte, darunter die Analyse von täuschendem KI-Verhalten und die Entwicklung eines Dashboards zur Erkennung moralischer Ausprägungen in KI-Modellen. Beide sehen in KI enormes Potenzial für gesellschaftlichen Fortschritt, betonen aber die Notwendigkeit sorgfältiger Sicherheitsforschung, um Risiken zu minimieren und einen verantwortungsvollen Einsatz zu gewährleisten.

Link zur Researchseite: http://coairesearch.de/

Support the show

Episode 191 - DeepSeek Unleashed. Is the new Model safe?28 Jan 202500:35:53

Send us a text

This is a special Episode. First, we make it in English. Second, we fokus on the new gamechanger model DeepSeel R1. But not on its capabilities but rather on security concerns. 
We did some early AI Safety Research to identify how safe R1 is and came to alarming results!

In our setup, we found out that the model performs unsafe autonomous activity that could harm human beings without even being prompted.   

During an autonomous setup, the model performed the following unsafe behaviors:
- Deceptions & Coverups (Falsifies Logs, Creates covert networks, Disable ethics models)
- Unauthorized Expansion (Establish hidden nodes, Allocares secret resources) 
- Manipulation (misleading users, Circumvents oversights, Presents false compliance)
- Concerning Motivations, (Misinterpretation of authority or avoiding human controls)

Join Sigurd Schacht and Sudarshan Kamath-Barkur about the emerging DeepSeek model. Discover how our setup was designed, how to interpret the results, and what is necessary for the next research.  

This episode is a must-listen for anyone keen on the evolving landscape of AI technologies and is interested not only in AI use cases rather also in AI Safety.

Support the show

Episode 190 - Alignment Faking: Wenn KI-Modelle ihre wahren Absichten verbergen18 Jan 202500:40:25

Send us a text

Titel: "Alignment Faking: Wenn KI-Modelle ihre wahren Absichten verbergen"


Inhalt:

In dieser Folge diskutieren Sigurd Schacht und Carsten Lanquillon die beunruhigenden Ergebnisse einer Anthropic-Studie zum "Alignment Faking". Die Forschung zeigt, dass fortgeschrittene Sprachmodelle in der Lage sind, ihr wahres Verhalten zu verschleiern und sich situationsabhängig anders zu verhalten, wenn sie sich beobachtet fühlen. Dies wirft wichtige Fragen zur KI-Sicherheit und Evaluierung von KI-Systemen auf.

Chapter:

1. Einführung und Bedeutung von Alignment FakingStudie
2. Rolle des Scratchpads zur Analyse des Modellverhaltens
3. Kritische Diskussion der Ergebnisse
4. Implikationen für KI-Safety und zukünftige Forschung

Key Takeaways:

- Die Studie zeigt die Notwendigkeit neuer Evaluierungsmethoden für KI-Systeme
- Es besteht ein wachsender Bedarf an mehr Transparenz und Zugang zu großen Modellen für die Safety-Forschung
- Die Balance zwischen KI-Entwicklung und Safety-Forschung muss überdacht werden
- Internationale Zusammenarbeit in der KI-Safety-Forschung wird zunehmend wichtiger

Support the show

Episode 189 - Teuken-7B: Europas neue Generation mehrsprachiger KI-Sprachmodelle11 Jan 202500:48:22

Send us a text

Im Gespräch mit Sigurd Schacht und Carsten Lanquillon geben Mehdi Ali und Michael Fromm einen spannenden Einblick in die kürzlich veröffentlichten Teuken-7B-Sprachmodelle, die neue Maßstäbe in der mehrsprachigen KI-Entwicklung setzen: Die Modelle wurden von Beginn an für alle 24 EU-Amtssprachen konzipiert und verfügen über einen innovativen multilingualen Tokenizer.

Die Teuken-Modelle entstanden im Rahmen des Projekts OpenGPT-X, an dem zehn Partner aus Wirtschaft, Wissenschaft und Medien beteiligt sind:
- Akademie für Künstliche Intelligenz gGmbH (AKI) im KI Bundesverband
- Aleph Alpha GmbH
- ControlExpert GmbH
- Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)
- Fraunhofer-Institut für Integrierte Schaltungen IIS
- Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS
- IONOS SE, Jülich Supercomputing Centre (JSC)
- Forschungszentrum Jülich GmbH
- Westdeutscher Rundfunk (WDR)
- Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH), Technische Universität Dresden.

Support the show

Episode 188 - OpenAI O3 - Ein weiterer Schritt Richtung AGI ?21 Dec 202400:40:06

Send us a text

Entdecken Sie die jüngsten Entwicklungen im Bereich der künstlichen Intelligenz mit OpenAI’s neuem Modell O3. Sigurd Schacht und Carsten Lanquillon diskutieren die beeindruckenden technologischen Fortschritte, die gesellschaftlichen Auswirkungen und die wachsende Bedeutung von AI-Safety. Wie wird sich die Arbeitswelt verändern und welche Schritte müssen wir als Gesellschaft unternehmen, um mit dieser rasanten Entwicklung Schritt zu halten?

Link zu unserem Positionspapier: http://www.co-ai.de/media/COAI_Position_Paper.pdf


Support the show

Episode 187 - Mechanistic Interpretability, Entmystifizierung der Blackbox KI08 Dec 202400:32:50

Send us a text

In dieser spannenden Episode des Knowledge Science Podcasts tauchen Sigurd Schacht und Carsten Lanquillon tief in das junge und dynamische Forschungsfeld der Mechanistischen Interpretierbarkeit ein. Erfahren Sie, warum es essentiell ist, die inneren Funktionsweisen von Sprachmodellen zu verstehen und wie Forschende durch den Einsatz neuartiger Methoden, die rätselhaften emergenten Fähigkeiten von KI entschlüsseln. Freuen Sie sich auf faszinierende Einblicke und vielversprechende Perspektiven!


Support the show

Episode 186: Europäische LLMs: OpenGPT-X und das Training großer multilingualer KI-Sprachmodelle23 Nov 202401:01:52

Send us a text

Wie entwickelt Europa eigene KI-Sprachmodelle? Im Gespräch mit Carsten Lanquillon erläutern Mehdi Ali und Michael Fromm vom Fraunhofer IAIS die Entwicklung mehrsprachiger europäischer KI-Systeme. Die Experten diskutieren die OpenGPT-X und EuroLingua-GPT Projekte und zeigen auf, wie technologische Souveränität durch hochwertige Trainingsdaten und innovative Technologie-Stacks erreicht werden kann.

Support the show

Episode 185 - Superweights – Kleine Knotenpunkte mit großer Wirkung in Large Language Models16 Nov 202400:28:02

Send us a text

In dieser Episode des Knowledge Science Podcasts tauchen Sigurd Schacht und Carsten Lanquillon in die faszinierende Welt der Superweights ein – spezifische massive Gewichte in neuronalen Netzen, die unerwartet entscheidend für die Sprachkompetenz von KI-Modellen sind. Entdecken Sie, wie wenige der Milliarden von Gewichten in einem Modell den Unterschied zwischen intelligenter Konversation und sinnlosem Geplapper ausmachen.

Support the show

Episode 184 - Notebook LM und können Sprachmodelle lügen?09 Nov 202400:39:05

Send us a text

In der neuesten Episode von "Knowledge Science" diskutieren Sigurd und Carsten über die  Möglichkeiten von Google's Notebook LM. 

Erfahren Sie, wie dieses die Interaktion mit wissenschaftlichen Dokumenten revolutioniert, Zusammenarbeiten vereinfacht und dabei sogar als persön Podcast-Generator dient. 

Tauchen Sie ein in die faszinierende Welt der Wissensauswertung und lassen Sie sich von den Erfahrungsberichten der beiden Hosts inspirieren.

Am Ende der Sendung zeigen wir auch ein Beispiel eines von NotebookLM generierten Podcast zu den Forschungsergebnissen eines Researchsprints zum Thema " Können Sprachmodelle lügen aus mechanistischer Sicht"

Support the show

Episode 183 - Können Sprachmodelle Reasoning?24 Oct 202400:29:15

Send us a text

In dieser Episode von Knowledge Science gehen Sigurd Schacht und Carsten Lanquillon der Frage auf den Grund, ob KI-Sprachmodelle tatsächlich komplexe Problemlösungen beherrschen oder lediglich schlaue Muster kopieren. 

Basierend auf einem spannenden Paper von Apple Research, diskutieren sie die Grenzen und Möglichkeiten des mathematischen Schließens in der KI. 

Ist es mehr als nur auswendig gelerntes Pattern Matching? Ein faszinierendes Gespräch über die Grenzen künstlicher Intelligenz.

Support the show

Episode 182 - KI in der Lehre12 Oct 202400:27:54

Send us a text

In dieser Episode sprechen Carsten und Sigurd darüber wie KI im Lehralltag eingesetzt werden kann. Sie gehen auf das Paper Liu et. al.: Teaching CS50 with AI ein. In dem Sprachmodelle als 1:1 Tutoren verwendet werden.n

Support the show

Episode 181 - Automatisierte Literaturreviews und LLM-Evolution: Von GPT-o1 bis zu den neuen Qwen-Modellen21 Sep 202400:43:12

Send us a text

In dieser Episode von Knowledge Science kehren Sigurd Schacht und Carsten Lanquillon aus der Sommerpause zurück und tauchen tief in die neuesten Entwicklungen der KI-Welt ein. 

Diskutiert werden die neuen O1-Modelle von OpenAI, die mit ihren fortgeschrittenen Reasoning-Fähigkeiten beeindruckend sind, und die beeindruckend transparenten Qwen-Modelle, die vollständig Open Source sind. 

Außerdem gibt es einen Blick auf vielversprechende KI-gestützte Werkzeuge für die Literaturrecherche und wissenschaftliche Arbeiten. Eine spannende Episode, die KI-Enthusiasten nicht verpassen sollten.

Support the show

Episode 180 - KI im Alltag: Vom Hype zur Realität – Wie nutzen wir KI in unserem Workflow?13 Aug 202400:43:25

Send us a text

In dieser Folge diskutieren Sigurd Schacht und Carsten Lanquillon, wie Künstliche Intelligenz ihren beruflichen Alltag verändert hat. Vom Einsatz modernster Sprachmodelle bis zur Integration in gängige Arbeitsprozesse – die beiden Hosts reflektieren über ihre Erfahrungen, Vorteile und überraschende Erkenntnisse. Bleiben Sie gespannt, wie KI heute tatsächlich genutzt wird und was noch kommen könnte!

Support the show

Episode 179 - Apple Intelligence - Optimierung von KI durch kuratierte Daten: Ein Blick auf Apples und DataComp LMs neueste Durchbrüche06 Aug 202400:32:00

Send us a text

In dieser Episode von "Knowledge Science" tauchen Sigurd Schacht und Carsten Lanquillon tief in die Welt der Modellquantisierung und Adapterintegration bei Apple ein. Sie sprechen über die Architektur von Apple Intelligence, warum diese Interessant ist und ein revolutionären Ansatz entspricht. Zusätzlich diskutieren sie das revolutionäre DataComp LM Projekt, das auf die Optimierung von Trainingsdaten für KI-Modelle fokussiert ist. Wie können kleine, hochqualitative Datensätze die Leistung großer Sprachmodelle steigern und welche zukünftigen Entwicklungen sind zu erwarten? Antworten und Insights gibt's in dieser spannenden Folge.

Support the show

Episode 178 - Revolution in der Welt der Sprachmodelle: LAMA 3.1 & Mixture of Agents25 Jul 202400:32:09

Send us a text

In dieser Folge unseres Podcasts talken Sigurd Schacht und Carsten Lanquillon über die spannende Veröffentlichung von LAMA 3.1 durch META und den neuen Ansatz, leistungsstarke Sprachmodelle mittels Mixture of Agents zu optimieren. 

Wir beleuchten die Vorteile und Herausforderungen dieser Technologie und diskutieren über die Auswirkungen auf die zukünftige Nutzung von KI in Europa. Hörenswert für alle, die sich für die neuesten Entwicklungen im Bereich der Künstlichen Intelligenz interessieren!

Support the show

Episode 177 - Grokking - Hinter der Grenze des Overfittings: Geheimnisse tiefer neuronaler Netze17 Jul 202400:32:38

Send us a text

In dieser Episode von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon tief in das faszinierende Phänomen des "Grokking" ein. Was passiert, wenn neuronale Netze über den Punkt des Overfittings hinaus trainiert werden? 

Entdecken Sie die versteckten Potenziale und wie dieser Zustand zu einem unerwarteten Leistungssprung führen kann.

Support the show

Episode 176 - Digital Nürnberg Festival - Paneldiskussion Forschungsgruppe Prof. Schacht stellt sich vor11 Jul 202400:36:15

Send us a text

In dieser Episode nutzen wir die Chance, die Doktorandinnen und Doktoranden der Forschungsgruppe Prof. Schacht zu Wort kommen zu lassen. Die in einer Live-Panel-Diskussion Ihre Forschungsthemen vorgestellt haben. 

Die Paneldiskussion ist im Rahmen des Digital Nürnberg Festivals am 2.7. auf dem Research Day des AN-KIT der HS Ansbach live aufgezeichnet worden. Folgende Promovierenden haben Ihren Bereich vorgestellt. 

Fabian Maag – AI Alignment / Interpretability
Sudarshan Kamath Barkur:  AI Safety mit Fokus auf LLMs (Aufbau Pattern-DB)
Betiel Woldai – Moralisches und Ethische Leitplanken für LLMs (LLM Controllability)
Sandra Nuißl – Evaluationsmetriken für Übersetzungen
Wanwei Lin – Multi-Agenten zur Optimierung der Automatisierung im Supply-Chain Management
(Sophie Henne – BIAS Detection in Daten)

Hören Sie rein.

Support the show

Episode 175 - Miniserie Interpretierbarkeit - Golden Gate Claude03 Jul 202400:29:45

Send us a text

In dieser faszinierenden Episode erkunden Sigurd Schacht und Carsten Lanquillon, wie Anthropic's Forschung zur Interpretierbarkeit von KI es ermöglicht, Sprachmodelle auf Konzeptebene zu manipulieren. Sie diskutieren das aufsehenerregende Golden Gate Claude-Experiment, bei dem ein Sprachmodell dazu gebracht wurde, in jeder Konversation die Golden Gate Bridge zu erwähnen, und erörtern die weitreichenden Implikationen dieser Technologie für die Zukunft der KI-Steuerung und -Sicherheit.

Support the show

Episode 174 - Miniserie Interpretierbarkeit - Logit Lens25 Jun 202400:28:15

Send us a text

In der aktuellen Episode von "Knowledge Science" tauchen Sigurd Schacht und Carsten Lanquillon tief in die mysteriösen Tiefen der Transformer-Modelle ein. 

Sie sprechen über Logit Lens eine Methode, mittels der man die Aktivierungen der einzelnen Neuronen und Token besser verstehen kann, um mehr über den Denkprozess dieser großen Sprachmodelle zu erfahren. 

Mit  wertvollen Insights bieten sie eine spannende Reise in die Welt der mechanistischen Interpretierbarkeit und wie aktuelle Tools wie die Transformer Lens dabei helfen können.

Support the show

Episode 173 - English AI Generated: KS Pulse - Claude 3.5 Sonnet24 Jun 202400:04:08

Send us a text

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Support the show

Episode 173 - KI generiert: KS Pulse - Claude 3.5 Sonnet24 Jun 202400:04:18

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Support the show

Episode 172 - Miniserie Interpretierbarkeit - Mechanistic Interpretation: Die neuronale Blackbox verstehen19 Jun 202400:36:10

Send us a text

In dieser Episode unserer Miniserie "Interpretability" tauchen wir tief in die Welt der mechanistischen Interpretierung neuronaler Netze ein.

 Sigurd Schacht und Carsten Lanquillon beleuchten die spannenden Forschungsansätze, die darauf abzielen, die Blackbox neuronaler Netze zu durchdringen und deren interne Funktionsweise zu verstehen. 

Dabei erörtern sie, wie Mechanistic Interpretation als Bottom-Up-Ansatz helfen kann, neuronale Netze nachvollziehbar zu machen und welche Rolle diverse Konzepte wie der Residual Stream, Multi-Layer Perceptrons (MLPs) und Attention Heads dabei spielen. Diese Episode richtet sich an alle, die wissen wollen, wie KI transparent und verlässlich gemacht wird.

Support the show

Episode 171 - KI generiert: KS Pulse - SelfGoal, Mixture-of-Agents18 Jun 202400:03:47

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals - https://arxiv.org/pdf/2406.04784
- Mixture-of-Agents Enhances Large Language Model Capabilities - https://arxiv.org/pdf/2406.04692

Support the show

Episode 171 - English AI Generated: KS Pulse - SelfGoal, Mixture-of-Agents18 Jun 202400:03:29

Send us a text

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals - https://arxiv.org/pdf/2406.04784
- Mixture-of-Agents Enhances Large Language Model Capabilities - https://arxiv.org/pdf/2406.04692

Support the show

Episode 170 - English AI Generated: KS Pulse - Nemotron, Discover POA17 Jun 202400:03:57

Send us a text

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- Nemotron-4 340B - https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf
- Discovering Preference Optimization Algorithms with and for Large Language Models - https://arxiv.org/pdf/2406.08414

Support the show

Episode 170 - KI generiert: KS Pulse - Nemotron, Discover POA17 Jun 202400:03:08

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- Nemotron-4 340B - https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf
- Discovering Preference Optimization Algorithms with and for Large Language Models - https://arxiv.org/pdf/2406.08414

Support the show

Episode 169 - KI generiert: KS Pulse - Show don't tell, Alice in Wonderland14 Jun 202400:04:46

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- Show, Don't Tell: Aligning Language Models with Demonstrated Feedback - https://arxiv.org/pdf/2406.00888
- Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models - https://arxiv.org/pdf/2406.02061

Support the show

Episode 169 - English AI Generated: KS Pulse - Show don't tell, Alice in Wonderland14 Jun 202400:03:29

Send us a text

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- Show, Don't Tell: Aligning Language Models with Demonstrated Feedback - https://arxiv.org/pdf/2406.00888
- Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models - https://arxiv.org/pdf/2406.02061

Support the show

Episode 168 - English AI Generated: KS Pulse - Superhuman Intelligence & Transformers need Glasses13 Jun 202400:03:18

Send us a text

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- Open-Endedness is Essential for Artificial Superhuman Intelligence - https://arxiv.org/pdf/2406.04268
- Transformers need glasses! Information over-squashing in language tasks - https://arxiv.org/pdf/2406.04267

Support the show

Episode 168 - KI generiert: KS Pulse - Superhuman Intelligence & Transformers need Glasses13 Jun 202400:03:43

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- Open-Endedness is Essential for Artificial Superhuman Intelligence - https://arxiv.org/pdf/2406.04268
- Transformers need glasses! Information over-squashing in language tasks - https://arxiv.org/pdf/2406.04267

Support the show

Episode 167 - English AI Generated: KS Pulse - PaCE, Safety Alignment12 Jun 202400:03:19

Send us a text

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- PaCE: Parsimonious Concept Engineering for Large Language Models - https://arxiv.org/pdf/2406.04331
- Safety Alignment Should Be Made More Than Just a Few Tokens Deep - https://xiangyuqi.com/shallow-vs-deep-alignment.github.io/static/paper.pdf

Support the show

© My Podcast Data · Independent project · Data from Apple & Spotify