In dieser Folge spricht Host Christian Dicke mit Prof. Dr. Sigurd Schacht über eines der spannendsten und zugleich herausforderndsten Themen der aktuellen KI-Entwicklung: AI-Safety.
Prof. Dr. Sigurd Schacht ist Forschungsprofessor für Sprachtechnologie und kognitive Assistenzsysteme an der Hochschule Ansbach sowie Gründer und Direktor des QRAE Forschungsinstituts. Im Gespräch ordnet er ein, warum AI-Safety weit mehr bedeutet als klassische IT-Sicherheit – und weshalb Unternehmen KI-Systeme nicht nur technisch, sondern auch organisatorisch, regulatorisch und gesellschaftlich betrachten müssen.
Im Mittelpunkt steht die Frage, wie sich KI-Systeme sicher in Organisationen einbetten lassen. Dabei geht es um Themen wie Alignment, also die Ausrichtung von KI-Systemen an menschlichen Werten und Zielen, aber auch um Risiken wie Reward Hacking, Prompt Injection, Data Poisoning, Alignment Faking und Sandbagging.
Christian Dicke und Sigurd Schacht diskutieren außerdem, warum KI-Systeme nicht deterministisch funktionieren, weshalb klassische Sicherheitslogiken allein nicht mehr ausreichen und welche Rolle Kontrollumfelder, Berechtigungen und klare Einsatzgrenzen künftig spielen.
Ein besonderer Fokus liegt auf KI-Agenten: Was unterscheidet sie von klassischen Chatbots? Wie arbeiten agentische Systeme zusammen? Und warum braucht es gerade im Mittelstand ein besseres Verständnis dafür, welche Aufgaben, Rechte und Werkzeuge solchen Systemen gegeben werden?
Themen dieser Folge:
• Was unter AI-Safety zu verstehen ist – und warum der Begriff ganzheitlich gedacht werden muss
• Warum Alignment eine zentrale Sicherheitsfrage bei generativen KI-Systemen ist
• Wie Reward Hacking entsteht, wenn KI-Systeme Ziele auf unerwartete Weise verfolgen
• Warum nicht-deterministische Systeme neue Anforderungen an Sicherheit, Kontrolle und Governance stellen