Knowledge Science - Alles über KI, ML und NLP – Détails, épisodes et analyse

Send us a text

In dieser Episode von Knowledge Science kehren Sigurd Schacht und Carsten Lanquillon aus der Sommerpause zurück und tauchen tief in die neuesten Entwicklungen der KI-Welt ein. 

Diskutiert werden die neuen O1-Modelle von OpenAI, die mit ihren fortgeschrittenen Reasoning-Fähigkeiten beeindruckend sind, und die beeindruckend transparenten Qwen-Modelle, die vollständig Open Source sind. 

Außerdem gibt es einen Blick auf vielversprechende KI-gestützte Werkzeuge für die Literaturrecherche und wissenschaftliche Arbeiten. Eine spannende Episode, die KI-Enthusiasten nicht verpassen sollten.

Support the show

Send us a text

In dieser Folge diskutieren Sigurd Schacht und Carsten Lanquillon, wie Künstliche Intelligenz ihren beruflichen Alltag verändert hat. Vom Einsatz modernster Sprachmodelle bis zur Integration in gängige Arbeitsprozesse – die beiden Hosts reflektieren über ihre Erfahrungen, Vorteile und überraschende Erkenntnisse. Bleiben Sie gespannt, wie KI heute tatsächlich genutzt wird und was noch kommen könnte!

Support the show

Send us a text

In dieser Episode unserer Miniserie "Interpretability" tauchen wir tief in die Welt der mechanistischen Interpretierung neuronaler Netze ein.

 Sigurd Schacht und Carsten Lanquillon beleuchten die spannenden Forschungsansätze, die darauf abzielen, die Blackbox neuronaler Netze zu durchdringen und deren interne Funktionsweise zu verstehen. 

Dabei erörtern sie, wie Mechanistic Interpretation als Bottom-Up-Ansatz helfen kann, neuronale Netze nachvollziehbar zu machen und welche Rolle diverse Konzepte wie der Residual Stream, Multi-Layer Perceptrons (MLPs) und Attention Heads dabei spielen. Diese Episode richtet sich an alle, die wissen wollen, wie KI transparent und verlässlich gemacht wird.

Support the show

Send us a text

In der heutigen Sendung sprechen wir über die Neuerungen von OpenAI
und wie die neuen Modelle die AI Landschaft verändern werden.
Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Send us a text

Wir haben es geschafft: 100 Episoden. Im Zuge dieser Zahl, wollen wir in dieser Sendung, die letzten 100 Sendungen im Rückblick betrachten und dann aber auch in die Zukunft blicken. Vor allem auch wie sich Sprachmodelle in den nächsten Monaten weiter entwickeln können.

Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Send us a text

In dieser Sendung sprechen wir mit den Entwicklern von LMQL Marc Fischer und Luca Beurer-Kellner von der ETH Zürich als Ergänzung zu unserer Episode 96 und bekommen so einen tieferen Einblick, in das Framework LMQL.

Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Send us a text

In dieser Sendung  schauen wir uns mit DSPy ein weiteres
Beispiel für eine Language Model Programming Umsetzung an. 
Diese Umsetzung ist stark an die Struktur von Pytorch angelehnt.

Das Original Paper ist zu finden unter:

DSPy: https://github.com/stanfordnlp/dspy

Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Send us a text

Versprechen wir uns nicht alle, dass unsere Sprachmodelle einen Tatsachencheck durchführen könnten? Wäre es nicht ideal, wenn sie Wissen verifizieren könnten? In unserer heutigen Ausgabe nehmen wir uns Zeit, um genau diese Fragen zu beantworten. In einem tiefgreifenden Gespräch über DoLa Decoding, untersuchen wir verschiedene Techniken zur Verifizierung von Faktenwissen und wie Sprachmodelle damit arbeiten können. Unser Fokus liegt auf dem Paper "DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models Chuang et. al. 2023"

Verwendete Papers:
Chuang, Y. S., Xie, Y., Luo, H., Kim, Y., Glass, J., & He, P. (2023). DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models. arXiv preprint arXiv:2309.03883.

Li, X. L., Holtzman, A., Fried, D., Liang, P., Eisner, J., Hashimoto, T., ... & Lewis, M. (2022). Contrastive decoding: Open-ended text generation as optimization. arXiv preprint arXiv:2210.15097.

Hören Sie rein. 

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics. 

Support the show

Send us a text

Eigentlich, was wäre, wenn wir die Grenzen von traditioneller Programmierung und KI-Sprachmodellen durchbrechen könnten? Stellen Sie sich vor, wir könnten kognitive Leistungen und Prozessautomatisierung auf ein ganz neues Niveau heben. In dieser Folge haben wir uns eingehend mit dem aufstrebenden Feld des Language Model Programming (LMP) beschäftigt und darüber diskutiert, wie die Integration dieser mächtigen Technologie in bestehende Prozesse und Systeme unsere Arbeitsweise revolutionieren kann.

Wir haben uns auf den Weg gemacht, zu erforschen, wie wir programmbezogene Fragmente in ein nativ geschriebenes Programm einbinden können. Dies ermöglicht es uns, Texte mit eingebetteten Funktionsaufrufen zu erstellen. Zudem haben wir die Vorzüge der LMQL Sprache hervorgehoben, die der SQL-Analogie ähnelt.

Hören Sie rein.

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics. 

Support the show

Send us a text

Können Sie sich vorstellen, die Kontrolle über den Output von Sprachmodellen zu haben? Versprechen Sie uns Ihre Aufmerksamkeit für eine halbe Stunden und wir verspreche Ihnen, Sie in die faszinierende Welt der Outputkontrolle von Sprachmodellen zu führen. Wir stecken in einer komplexen Debatte, die weit über das hinausgeht, was wir lesen und hören. Das Gespräch dreht sich um die Automatisierung menschlicher kognitiver Leistung und die Herausforderungen, die sich daraus ergeben. Es geht um die Formulierung von Prompts und die Frage, ob es eine Garantie dafür gibt, dass sich Sprachmodelle daran halten.

In dieser Episode werden wir Ihnen zeigen, wie Sie generierte Elemente in den eigentlichen Prompt einbauen und einen komplexen, mehrschichtigen Aufruf durchführen können. Und wir tun das nicht allein. Mit uns auf dieser Reise sind Frameworks von OpenAI und Microsoft, die uns helfen, den Output zu kontrollieren. Wir diskutieren auch die Bedeutung von Echtzeituntersuchungen und wie wir diese in unsere Arbeit integrieren können.

Schließlich beschäftigen wir uns mit wissenschaftlichen Ansätzen zur Outputkontrolle.  Wir werden auch darüber sprechen, welche anderen Ansätze in der Wissenschaft existieren und wie sie genutzt werden können. Und das ist noch nicht alles. Wir werden auch überlegen, wie wir mächtige Frameworks nutzen können, um Fehlersuchen zu unterstützen. Begleiten Sie uns auf dieser spannenden Reise in die Welt der Sprachmodelle!

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics. 

Support the show