Send us a text

In dieser Episode von Knowledge Science kehren Sigurd Schacht und Carsten Lanquillon aus der Sommerpause zurück und tauchen tief in die neuesten Entwicklungen der KI-Welt ein. 

Diskutiert werden die neuen O1-Modelle von OpenAI, die mit ihren fortgeschrittenen Reasoning-Fähigkeiten beeindruckend sind, und die beeindruckend transparenten Qwen-Modelle, die vollständig Open Source sind. 

Außerdem gibt es einen Blick auf vielversprechende KI-gestützte Werkzeuge für die Literaturrecherche und wissenschaftliche Arbeiten. Eine spannende Episode, die KI-Enthusiasten nicht verpassen sollten.

Support the show

Send us a text

In dieser Folge diskutieren Sigurd Schacht und Carsten Lanquillon, wie Künstliche Intelligenz ihren beruflichen Alltag verändert hat. Vom Einsatz modernster Sprachmodelle bis zur Integration in gängige Arbeitsprozesse – die beiden Hosts reflektieren über ihre Erfahrungen, Vorteile und überraschende Erkenntnisse. Bleiben Sie gespannt, wie KI heute tatsächlich genutzt wird und was noch kommen könnte!

Support the show

Send us a text

In dieser Episode unserer Miniserie "Interpretability" tauchen wir tief in die Welt der mechanistischen Interpretierung neuronaler Netze ein.

 Sigurd Schacht und Carsten Lanquillon beleuchten die spannenden Forschungsansätze, die darauf abzielen, die Blackbox neuronaler Netze zu durchdringen und deren interne Funktionsweise zu verstehen. 

Dabei erörtern sie, wie Mechanistic Interpretation als Bottom-Up-Ansatz helfen kann, neuronale Netze nachvollziehbar zu machen und welche Rolle diverse Konzepte wie der Residual Stream, Multi-Layer Perceptrons (MLPs) und Attention Heads dabei spielen. Diese Episode richtet sich an alle, die wissen wollen, wie KI transparent und verlässlich gemacht wird.

Support the show

Send us a text

In der heutigen Sendung sprechen wir über die Neuerungen von OpenAI
und wie die neuen Modelle die AI Landschaft verändern werden.
Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Send us a text

Wir haben es geschafft: 100 Episoden. Im Zuge dieser Zahl, wollen wir in dieser Sendung, die letzten 100 Sendungen im Rückblick betrachten und dann aber auch in die Zukunft blicken. Vor allem auch wie sich Sprachmodelle in den nächsten Monaten weiter entwickeln können.

Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Send us a text

In dieser Sendung sprechen wir mit den Entwicklern von LMQL Marc Fischer und Luca Beurer-Kellner von der ETH Zürich als Ergänzung zu unserer Episode 96 und bekommen so einen tieferen Einblick, in das Framework LMQL.

Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Send us a text

In dieser Sendung  schauen wir uns mit DSPy ein weiteres
Beispiel für eine Language Model Programming Umsetzung an. 
Diese Umsetzung ist stark an die Struktur von Pytorch angelehnt.

Das Original Paper ist zu finden unter:

DSPy: https://github.com/stanfordnlp/dspy

Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Send us a text

Versprechen wir uns nicht alle, dass unsere Sprachmodelle einen Tatsachencheck durchführen könnten? Wäre es nicht ideal, wenn sie Wissen verifizieren könnten? In unserer heutigen Ausgabe nehmen wir uns Zeit, um genau diese Fragen zu beantworten. In einem tiefgreifenden Gespräch über DoLa Decoding, untersuchen wir verschiedene Techniken zur Verifizierung von Faktenwissen und wie Sprachmodelle damit arbeiten können. Unser Fokus liegt auf dem Paper "DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models Chuang et. al. 2023"

Verwendete Papers:
Chuang, Y. S., Xie, Y., Luo, H., Kim, Y., Glass, J., & He, P. (2023). DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models. arXiv preprint arXiv:2309.03883.

Li, X. L., Holtzman, A., Fried, D., Liang, P., Eisner, J., Hashimoto, T., ... & Lewis, M. (2022). Contrastive decoding: Open-ended text generation as optimization. arXiv preprint arXiv:2210.15097.

Hören Sie rein. 

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics. 

Support the show

Send us a text

Eigentlich, was wäre, wenn wir die Grenzen von traditioneller Programmierung und KI-Sprachmodellen durchbrechen könnten? Stellen Sie sich vor, wir könnten kognitive Leistungen und Prozessautomatisierung auf ein ganz neues Niveau heben. In dieser Folge haben wir uns eingehend mit dem aufstrebenden Feld des Language Model Programming (LMP) beschäftigt und darüber diskutiert, wie die Integration dieser mächtigen Technologie in bestehende Prozesse und Systeme unsere Arbeitsweise revolutionieren kann.

Wir haben uns auf den Weg gemacht, zu erforschen, wie wir programmbezogene Fragmente in ein nativ geschriebenes Programm einbinden können. Dies ermöglicht es uns, Texte mit eingebetteten Funktionsaufrufen zu erstellen. Zudem haben wir die Vorzüge der LMQL Sprache hervorgehoben, die der SQL-Analogie ähnelt.

Hören Sie rein.

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics. 

Support the show

Send us a text

Können Sie sich vorstellen, die Kontrolle über den Output von Sprachmodellen zu haben? Versprechen Sie uns Ihre Aufmerksamkeit für eine halbe Stunden und wir verspreche Ihnen, Sie in die faszinierende Welt der Outputkontrolle von Sprachmodellen zu führen. Wir stecken in einer komplexen Debatte, die weit über das hinausgeht, was wir lesen und hören. Das Gespräch dreht sich um die Automatisierung menschlicher kognitiver Leistung und die Herausforderungen, die sich daraus ergeben. Es geht um die Formulierung von Prompts und die Frage, ob es eine Garantie dafür gibt, dass sich Sprachmodelle daran halten.

In dieser Episode werden wir Ihnen zeigen, wie Sie generierte Elemente in den eigentlichen Prompt einbauen und einen komplexen, mehrschichtigen Aufruf durchführen können. Und wir tun das nicht allein. Mit uns auf dieser Reise sind Frameworks von OpenAI und Microsoft, die uns helfen, den Output zu kontrollieren. Wir diskutieren auch die Bedeutung von Echtzeituntersuchungen und wie wir diese in unsere Arbeit integrieren können.

Schließlich beschäftigen wir uns mit wissenschaftlichen Ansätzen zur Outputkontrolle.  Wir werden auch darüber sprechen, welche anderen Ansätze in der Wissenschaft existieren und wie sie genutzt werden können. Und das ist noch nicht alles. Wir werden auch überlegen, wie wir mächtige Frameworks nutzen können, um Fehlersuchen zu unterstützen. Begleiten Sie uns auf dieser spannenden Reise in die Welt der Sprachmodelle!

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics. 

Support the show

Send us a text

Endlich zurück aus der Sommerpause! 

In dieser Sendung beleuchten wir das Thema Evaluierung erneut, mit Fokus auf wirtschaftliche Aspekte. Lernen Sie interessante Kennzahlen und Metriken für LLM-Entwickler kennen und erfahren Sie, wie mit diesen Ihre Kosten beeinflusst werden können. Tauchen Sie mit uns in die Welt der Sprachmodelle, Evaluierungsprozesse, Kostenstrukturen und GPU-Speicheranforderungen ein.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics.

Support the show

Send us a text

Unser Podcast befasst sich diese Woche mit der Frage, wie Künstliche Intelligenz feministischer gestaltet werden kann. Dabei diskutieren wir mit der Feminismus- und KI-Expertin Eva Gengler darüber, wie man KI nutzen kann, um mehr Gerechtigkeit und Gleichstellung in der Gesellschaft zu erreichen. Wir sprechen über Herausforderungen und Chancen eines feministischen Blicks auf KI.

Eva Gengler (Director @FemAI): https://www.linkedin.com/in/eva-gengler-970144166/

Wir machen eine Sommerpause. Anfang September sind wir wieder für Euch da. 

Support the show

Send us a text

In der heutigen Folge unseres Podcasts gehen wir tiefer auf die Evaluierung von LLMs ein. Wir werden Ihnen das Evaluierungsframework HELM vorstellen, das für Holistic Evaluation of Language Models steht. Es handelt sich um einen holistischen Blick in die Bewertung und Analyse von Sprachtechnologien, der sowohl für Fachleute als auch für interessierte Laien von Interesse sein könnte. Bleiben Sie dran.

Support the show

Send us a text

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals - https://arxiv.org/pdf/2406.04784
- Mixture-of-Agents Enhances Large Language Model Capabilities - https://arxiv.org/pdf/2406.04692

Support the show

Send us a text

In der heutigen Episode entführen wir Sie in die faszinierende Welt der Sprachmodellevaluierung. Tauchen Sie mit uns in die Tiefen der Herausforderungen ein und erhalten Sie einen umfassenden Überblick über diverse Frameworks. Für alle Technologie- und KI-Enthusiasten ein absolutes Highlight. Schalten Sie ein und bleiben Sie neugierig!

Support the show

Send us a text

In der heutigen Sendung sprechen wir über das Release von LLama 2 von Meta Research. Wir sprechen das zugrundeliegende Paper durch und diskutieren Funktionsweisen, Möglichkeiten und Unterschiede. Hören Sie rein.

Support the show

Send us a text

In der neuesten Episode unseres Podcasts bringen wir eine kleine, aber aufregende Änderung in unser bisheriges Konzept: Zum ersten Mal präsentieren wir eine LIVE-Podcast Sendung!

Im Zuge des Nürnberg Digital Festivals haben wir uns dem wichtigen Thema "Lebenslanges Lernen" gewidmet und dieses im entspannten Rahmen des Afterworks beleuchtet. Dabei hat uns Johanna, eine Schülerin mit einzigartigen Einblicken, begleitet. Sie hat uns ihre Erfahrungen mit lebenslangem Lernen, sowohl mit als auch ohne Künstlicher Intelligenz, nähergebracht.

Auch wenn es sich um ein neues Format handelt, ist es genauso unterhaltsam wie unsere regulären Episoden. Schalten Sie ein und erleben Sie eine erfrischende Variante unseres Podcasts!

Support the show

Send us a text

In dieser Episode sprechen wir mit Toine Diepstraten und Henri Hagenow über das Hosting von GPUs, sowie das Zusammenstellen von High Performance Computern für das Deep Learning.  Die AIME GmbH (https://www.aime.info/)  hat sich auf den Bau und das Bereitstellen solcher HPC Cluster spezialisiert, entwickeln aber auch Cloud Software zum Trainieren und Betreiben von KI Modellen, wie das AIME Machine Learning Framework Container Management. In Zukunft soll noch eine standardisierte API zum Betrieb von Large Language Models ergänzt werden.

Aktuell haben sie auch einen Beitrag im iX Special "Künstliche Intelligence" (https://www.heise.de/news/iX-Special-Kuenstliche-Intelligenz-ist-da-9188840.html)

Hören Sie rein.

Support the show

Send us a text

In dieser Episode geben wir einen kurzen Überblick über ausgewählte spannende wissenschaftliche Veröffentlichung der KW27. Vor allem sind es folgende vier Papers, die wir für diese Sendung ausgewählt haben:

- Ding et. al.: LONGNET: Scaling Transformers to 1,000,000,000 Tokens https://arxiv.org/pdf/2307.02486.pdf
- Chang et. al.: A Survey on Evaluation of Large LanguageModels (https://arxiv.org/pdf/2307.03109.pdf)
- Ghosal et. al.: FLACUNA: Unleashing the Problem Solving Power of VICUNA using FLAN Fine-Tuning (https://arxiv.org/pdf/2307.02053v1.pdf)
- Chia et. al.: INSTRUCTEVAL: Towards Holistic Evaluation of Instruction-Tuned Large Language Models (https://arxiv.org/pdf/2306.04757.pdf)

Support the show

Send us a text

In dieser Episode sprechen wir über die Einschränkungen von Large Language Modellen, insbesondere die Kontextlänge der verschiedenen Architekturen. Welche Möglichkeiten gibt es die Eingabelänge und Verarbeitungslänge von LLMs zu vergrößern und warum sollte man dies wollen? Hören Sie rein.

Support the show

Send us a text

In dieser Episode tauchen wir in die Welt der Vektor-Datenbanken mit Philip Vollet, Head of Developer Growth by Weaviate, ein. Wir sprechen darüber, was Vector-Datenbanken sind, welche innovativen Projekte mit Weaviate realisiert werden und wie KI zu einem gesellschaftlichen Wandel führt. Außerdem sprechen wir über den Aufbau von Teams und wie wichtig diese in dem momentanen Wandel sind. Unbedingt reinhören!

Support the show

Send us a text

In der heutigen Sendung sprechen wir über die Risiken, die durch eine generelle KI für die Menschheit entstehen kann. Welche Maßnahmen sind zu ergreifen? Wo stehen wir gerade? Würde ein Moratorium, mit dem Ziel alle KI-Entwicklungen zu stoppen, helfen? Diese Fragen betrachten wir in der heutigen Sendung.

Support the show

Send us a text

In der heutigen Sendung steigen wir noch einmal in die Welt der multimodalen Modelle ein. Diesmal sprechen wir über das Bindeglied zwischen dem uni-modalen Bildverarbeitungsmodell und dem uni-modalen Sprachverarbeitungsmodell, den Q-Former. Q-Former sind eine effiziente Methode, das Training von multimodalen Modellen durchzuführen. Wir diskutieren die Architektur, Vorteile, Nachteile und Wirkweisen.

Support the show

Send us a text

In der heutigen Sendung steigen wir in die Welt der multimodalen Modelle ein, die es ermöglichen, nicht nur Textinformationen, sondern auch Bildinformationen von Sprachmodellen verarbeiten zu lassen.

Link zum Paper:

Zhu et. al.: MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models - https://arxiv.org/abs/2304.10592

-- Sponsor der Sendung --
https://www.aime.info/de/
Diese Sendung wird unterstützt von der AIME GmbH. Die Firma AIME sitzt in Berlin und sieht ihre Kernkompetenz innerhalb der Fertigung und des Betriebs hoch spezialisierter Server und Workstations zur Entwicklung Künstlicher Intelligenz. 

Mit Technologie, Innovationsgeist und Know-how entlang der gesamten KI-Wertschöpfungskette ermöglicht AIME ihren Kunden eine zuverlässige und zukunftssichere Produktion von Maschine-Learning- sowie Deep-Learning-Modellen. Mit der GPU-Cloud vermietet AIME günstig Multi-GPU-HPC-Server für Deep-Learning- und Big-Data-Projekte.

Neben der Konstruktion von an Kundenwünschen angepassten individuellen Hochleistungs-Computern mit optimal aufeinander abgestimmten high-end Server-Komponenten wird im AIME-Lab außerdem an Ideen für Anwendungen im Bereich der Künstlichen Intelligenz geforscht.

Die AIME GmbH möchte helfen, die KI-Entwicklung in Europa zu beschleunigen. Mit ihrem Angebot einer kostengünstigen GPU-Cloud sieht AIME sich als Nährboden und Motor einer StartUp-nahen, innovativen Entwicklung der KI-Landschaft innerhalb Europas. AIME ist ein deutsches Unternehmen und möchte den europäischen Standort stärken.

Support the show

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals - https://arxiv.org/pdf/2406.04784
- Mixture-of-Agents Enhances Large Language Model Capabilities - https://arxiv.org/pdf/2406.04692

Support the show

Send us a text

In der heutigen Sendung greifen wir das Thema Alignment von Sprachmodelle noch einmal auf. Wir sprechen über den Ansatz "Dromedary - Principle Driven Self Alignment of LLMs" als Beispiel einmal durch. Hören Sie rein.

Link zum Paper: 

Sun et. al.: Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision - https://arxiv.org/abs/2305.03047

Support the show

Send us a text

In der heutigen Sendung sprechen wir über das Alignment von großer Sprachmodelle. Das Alignment bestimmt, wie gut Sprachmodelle menschliche Absichten interpretieren und darauf adäquat reagieren. Hören Sie rein!

Support the show

Send us a text

In der heutigen Sendung sprechen wir mit Dr. Tristan Behrens, er ist Experte für künstliche Intelligenz und ein Pionier bei der Verwendung von generativen Sprach- und Diffusormodellen für die Erstellung von Musik. Als Artist in Residence des KI-Salons Heilbronn kreiert er Exponate, die das Zusammenspiel zwischen KI und Musik aufzeigen. 

Er gibt uns Einblicke, wie KI verwendet werden kann, um Musik zu generieren.

Link zum Youtube-Kanal von Dr. Behrens: https://www.youtube.com/channel/UCcMEBxcDM034JyJ8J3cggRg/videos

Support the show

Send us a text

In der heutigen Sendung sprechen wir mit Andreas Köpf einer der vier Initiatoren des Open-Source-Projekt OpenAssistent.  Das Projekt hat zum Ziel, einen chatbasierten Assistenten zu entwickeln, der die Aufgaben, die er löst, auch versteht. Dabei kann er mit anderen Systemen interagieren und dynamisch Informationen einholen.

Andreas gibt uns einen Einblick hinter die Kulissen der Open-Source Entwicklung und die Herausforderungen, Chancen und Visionen eins solch großen Projektes. 

Wenn Sie wissen wollen, wie  der gesamte Lebenszyklus es Erstellens von Modellen, wie hatGPT aussieht, blicken Sie mit uns hinter die Kulissen und hören Sie rein. 


Link zum Projekt: https://github.com/LAION-AI/Open-Assistant
Link zum Paper des Datensatzes: https://arxiv.org/abs/2304.07327

Support the show

Send us a text

In dieser Episode reden wir über das Paper „Generative Agents: Interactive Simulacra of Human Behavior“ von Park et. al. Wir zeigen auf, wie die Autoren 25 generative Agenten mit der Hilfe von Sprachmodellen erschaffen haben. Diese Agenten agieren in einer virtuellen Spielwelt untereinander. Ferner diskutieren wir, wofür solche Simulationen verwendet werden können.

Link zum Paper: Park et. al.: Generative Agents: Interactive Simulacra of Human Behavior https://arxiv.org/abs/2304.03442

Support the show

Send us a text

In dieser Episode reden wir darüber, ob autonome generative Agenten der Weg zur
generellen KI sind und ob wir gerade den nächsten Hype im Bereich der Sprachmodelle erleben. Wir beleuchten die Projekte Auto-GPT und BabyAGI, die momentan bei GitHub einen starken Fokus auf sich ziehen.

Support the show

Send us a text

In diese Episode reden wir über das spannende Paper „Sparks of Artificial General Intelligence: Early experiments with GPT-4“. 

Es stellt sich die Frage, ob GPT-4 erste Anzeichen einer starken KI (Artificial General Intelligence) aufweist. 

(Link zum Paper: https://arxiv.org/pdf/2303.12712.pdf)

Support the show

Send us a text

In dieser Episode reden wir über die Demokratisierung von großen
Sprachmodellen. Insbesondere die Technologien, wie Modelle kompakt trainiert werden können.

Support the show

Send us a text

In dieser Episode reden wir über das Release des neuen Models GPT-4 von openAI. Sind wir an einem Scheidepunkt mit diesem Model angekommen? Diese Frage klären wir in der heutigen Sendung.

Support the show

Send us a text

In dieser Woche wollen wir darüber sprechen, wie durch die Zusammenführung von Bild und Textdaten in einem Prompt Sprachmodelle in ihrer Leistung gesteigert werden können. Im Detail gehen wir auf das Paper von Zhang et. al. Multimodal Chain-of-Thought Reasoning in Language Models ein.

Support the show

Send us a text

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- Nemotron-4 340B - https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf
- Discovering Preference Optimization Algorithms with and for Large Language Models - https://arxiv.org/pdf/2406.08414

Support the show

Send us a text

In dieser Woche wollen wir darüber diskutieren, ob Large Language Modelle 
die Fähigkeit zum Argumentieren haben und ob diese Fähigkeit zur Verbesserung der 
Leistung solcher Netze genutzt werden kann.

Support the show

Send us a text

Im Gegensatz zur Sendung der letzten Woche, sprechen wir heute über Sustainability of AI. Wir gehen auf die Abgrenzung ein und zeigen Beispiele und Verfahren auf, wie es zu einer nachhaltigen KI kommen kann. Bleiben Sie dran.

Support the show

Send us a text

In der heutigen Episode sprechen wir über "Sustainable AI". Dabei gehen wir der Frage nach, wie nachhaltig kann AI sein und kann KI die Nachhaltigkeit unterstützen. Hören Sie rein.

Support the show

Send us a text

In der heutigen Sendung wollen wir tiefer auf InstructGPT
eingehen. Instruct GPT ist der Trainingsprozess, der auch bei ChatGPT angewandt wird. 

Support the show

Send us a text

In der heutigen Sendung werden wir über die neusten Entwicklungen von
Sprachmodellen sprechen. Insbesondere über das Aufsehen über ChatGPT und Reinforcement Learning from Human Feedback.

Support the show

Send us a text

In dieser Woche wollen wir wieder mit einer kleinen Miniserie zum Thema Prompting starten. Prompting ist ein faszinierendes Paradigma, große Modelle an die eigenen Anforderungen anzupassen, ohne die Modelle explizit trainieren zu müssen. Hören Sie rein.

Support the show

Send us a text

Nachdem wir letzte Woche über die automatische Spracherkennung gesprochen haben, möchten wir in dieser Sendung gerne über den Prozess der Sprecheridentifikation (Diarization) sprechen. Wir gehen darauf ein, wofür es verwendet werden kann. Welche Schritte notwendig sind und wie dies mit maschinellen Lernen bzw. Deep Learning gelöst werden kann. Hören Sie rein.

Support the show

Send us a text

In der heutigen Sendung sprechen wir über das ASR Modell Whisper, dass uns das Leben durch Spracherkennung erleichtern soll. Wir gehen auf die Grundüberlegungen des Papers ein und beschreiben den Ansatz von Weak Supervision und dessen Vorteile in diesem Kontext. Hören Sie rein.

Support the show

Send us a text

Nach längerer Sommerpause melden wir uns wieder zurück!

In der heutigen Sendung sprechen wir über KI als Assistent für das Erstellen von Texten. Wir gehen auf ein neues Model namens "PEER" ein und erläutern die Vorgehensweise sowie dessen Vor- und Nachteile.

Support the show

Send us a text

Wir sprechen heute über die Entwicklung der Künstlichen Intelligenz in den letzten Jahrzehnten sowie über die sogenannten KI Winter und gehen auf die Gründe deren Entstehungen ein.

Steht uns wieder ein KI-Winter bevor?

Dies ist unsere letzte Sendung vor der Sommerpause. Wir melden uns Anfang September mit weiteren Folgen zurück. Wir wünschen Ihnen eine schöne Sommerzeit und vielen Dank fürs Zuhören.

Support the show

Send us a text

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- Nemotron-4 340B - https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf
- Discovering Preference Optimization Algorithms with and for Large Language Models - https://arxiv.org/pdf/2406.08414

Support the show

Send us a text

Nach krankheitsbedingter Pause starten wir vor der Sommerpause mit einer weiteren Sendung. Heute sprechen wir über die Architektur REALM eine Architektur für das Open Question Answering. Hören Sie rein.

Support the show

Send us a text

Wir sprechen in der heutigen Sendung über einen Blogbeitrag, der die These aufstellt, dass akademische Forschung im KI Umfeld eine totale Verschwendung ist. Wir wollen in einem lockeren Gespräch dieser These nachgehen.

Support the show

Send us a text

Wir sprechen in der heutigen Sendung über die von Google entwickelte Architektur Lambda, die in den letzten Woche vor allem wegen der Frage ob diese KI ein Bewusstsein entwickelt hat, in den Medien war. 

Ist dies die erste KI mit eigenem Bewusstsein?

Support the show