REvaluation Podcast – Détails, épisodes et analyse

Am 4. November 2025 luden der Wiener Wissenschafts-, Forschungs- und Technologiefonds (WWTF) und die Plattform fteval zu einer Veranstaltung über Panelevaluierung, um die Erfahrungen in der Community in einen Austausch zu bringen.

Für diese Podcastfolge haben wir die Diskussion für unsere Zuhörenden eingefangen: Magdalena Wicher und Michael Strassnig vom WWTF fassen mit Katharina Warta, Leiterin des österreichischen Büros von Technopolis Group, die wichtigsten Punkte zusammen und kommen am Ende sogar noch in eine richtige Kontroverse!

Für die Beteiligten ist klar, was die Vorteile von Panels sind, weil man beispielsweise rasch die kritischen Punkte zum Evaluationsobjekt identifiziert werden können und die Rolle der "Critical Friends" sehr wertvoll sein kann. Gleichzeitig ist es herausfordernd und ressourcenintensiv, ein ausgewogenes und hochkarätiges Panels zu etablieren und Ownership über den Evaluationsgegenstand und Vertrauen zu generieren. Die Bedeutung von persönlichen Treffen wird besonders herausgestrichen. Katharina teilt ihre Erfahrung aus der Gruppendynamik und erklärt anhand des Johari-Fensters, wie man blinde Flecken, Unbekanntes und Geheimes aufdecken kann. 

Links: 

• Foliensatz des WWTF zu Panelevaluierung mit zwei Fallbeispielen
• Fallbeispiele von Technopolis Group: 
  • Evaluation Methodology der Evaluation der wissenschaftlichen Institutionen Lettlands: https://www.izm.gov.lv/lv/media/29432/download?attachment 
  • Presentation des Evaluationsberichts für Universität Luxembourg: https://www.chd.lu/fr/meeting/13645 (ab Minute 5:50)

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Isabella Wagner

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at

Markus Wanko is the founding force behind the XISTA innovation ecosystem, empowering science innovators. Today, Markus leads XISTA’s venture fund (Managing Partner), science park (MD), and tech transfer arm (MD). With his work he helps ISTAs research to develop it's full societal potential. In this interview we learn how start up trainings must be sector specific to be most effective, where the venture capital for the science start-ups typically comes from and what Markus recommends to the evaluation community: To take evaluation seriously!

Links: 

• ISTA: https://ista.ac.at/en/home/
• XISTA: https://xista.com/
• XISTA science ventures: https://xista.vc
• XISTA innovation: https://xista.io/
• XISTA science park: https://xista-park.com/

Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Photo: The Gentlemen Creatives

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at

Interest in artificial intelligence (AI) has been growing among the monitoring, evaluation, research and learning (MERL) community over the past decade. Yet AI adoption has been hampered by lack of data science capacities, low trust in AI, ethical concerns, affordability, absence of applicable use cases, and multiple other barriers. The public release of mainstream Generative AI (GenAI) applications, beginning with ChatGPT in late 2022, changed the game. GenAI and natural language processing (NLP) tools are now more accessible. For MERL Professionals, the hope is that they might support program delivery, improve efficiencies, and help us to find meaning in large troves of qualitative data.

At the same time, the untested nature of emerging AI — especially in low resource contexts and fragile environments. The potential harms due to bias, low levels of reliability and validity, lack of accountability, and negative wider societal impacts such as job loss and the environmental costs of data processing make the use of GenAI an ethically fraught exercise. 

The MERL community is varied in its attitudes toward GenAI. Some are rushing to embrace and adopt it, at times uncritically. Others are avoiding GenAI altogether, perhaps out of fear or disinterest, but also because of real concerns about the practical utility and the bigger issues with AI ethics. 

At this talk Linda Raftree elaborates, with real world examples, on how and where GenAI is being used in the MERL space. She also examines how and why the wider AI boom is affecting our societies and our planet to spur us to think critically about AI in our work and in the world and to re-examine the role of Evaluators as users and assessors of AI. 

Links: 

• The MERL Tech Initiative: https://merltech.org/
• Linda's presentation slides

Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Photo: Martin Jordan

Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research and the whole fteval Community. 

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at

Whether it is business innovation or basic research, new quantitative methods or new micro-level and register data open up opportunities to investigate the relationships between policies and their intended effects. The aim of the panel is to facilitate an exchange on methods and data for causal evaluation in various innovation and research policies. Which opportunities can we identify, which challenges remain for an increased use of these methodological approaches in evaluations in the medium and long term?

Panellists

• Reinhilde Veugelers, KU Leuven
  Professor at the Department of Management, Strategy and Innovation, Senior fellow at Bruegel, CEPR Research Fellow, member of the Royal Flemish Academy of Belgium for Sciences and of the Academia Europeana
• Guido Bünstorf, University of Kassel
  Professor and Head of Economic Policy, Innovation and Entrepreneurship-Group and member of the Commission of Experts for Research and Innovation (EFI)
• Regina Fuchs, Statistics Austria
  Director for Social Statistics and Austrian Micro Data Center (AMDC)
• Clara Calero-Medina, Leiden University
  Senior Researcher and Director of Innovation and Impact at the Centre for Science and Technology Studies (CWTS)

Moderator

Thomas König, Managing Director at FORWIT - Austrian Council for Sciences, Technology, and Innovation

Panel Organisers

• Patrick Svensson-Jajko, BMBWF - Austrian Federal Ministry of Education, Science and Research
• Agnes Kügler, WIFO - Austrian Institute of Economic Research
• Jürgen Janger, WIFO - Austrian Institute of Economic Research

Links:

• Keynote speech by Paul Hünermund about causality at the predecessor REvaluation Conference in 2022

This panel and thte podcast episode were inspired and supported by the Ministry of Women, Science and Research. Thank you! 

Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Photo: Martin Jordan

Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. 

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at

Brigitte Tiefenthaler hat schon an ganz unterschiedlichen Stationen im FTI-System gearbeitet, seit 2007 ist sie Beraterin bei Technopolis in Wien. Sie beschäftigt sich besonders gerne mit Fragen der Transformation und der Partizipation. So kommt es nicht ungelegen, dass der Österreichische Aktionsplan für den Europäischen Forschungsraum (ERA-NAP) 2022-2025 ebenfalls mit Hilfe von Konsultationen entstanden ist. Wie man so einen Aktionsplan evaluiert, erfahren wir in dieser Podcastfolge.

Wer Näheres zur Hochschulkonferenz erfahren möchte, wird an dieser Adresse fündig: https://www.bmbwf.gv.at/Themen/HS-Uni/Hochschulgremien/HSK.html
Informationen zur ERA Policy Agenda 2022-2024 gibt es hier: https://era.gv.at/era/era-policy-agenda/
Und zuletzt Mehr Information zu ERA, auch zur Historie und zu den relevanten Dokumenten:
https://era.gv.at/era/

Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht.

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Brigitte Tiefenthaler

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at

Angelika Sauer-Malin ist Forscherin und Evaluatorin im Bereich POLICIES bei Joanneum Research in Graz. In dieser Podcastfolge erzählt sie über ihre Arbeit als Evaluator:in auf lokaler, nationaler und europäischer Ebene und was sie damit bisher bewirken konnte. Wir lernen, welche Skills Evaluator:innen mitbringen müssen, wie man eine anstatt einer "Beurteilungs-" eine Lernatmosphäre schaffen kann und womit sich in ihre Abteilung sonst so beschäftigt. 
Für die Plattform fteval wünscht sie sich ein Mentoringprogramm für Nachwuchsevaluator:innen - eine sehr interessante Idee, die wir auf jeden Fall evaluieren werden! :)
Vielen Dank für das nette Gespräch!

Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht.
 
Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: JOANNEUM RESEARCH/Bernhard Bergmann 

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at

Für diese Folge haben Tobias und Isabella die neu gegründete IT:U in Linz besucht und Stefanie Lietze und Gerd Krizek gefragt, wie sie ihr Qualitätssicherungssytem komplett von Anfang an aufbauen. Wir lernen, dass die "Digitaluni" sehr wohl analoge Lehr-/Lernlabore betreibt, wie die Kriterien Interdisziplinarität, Digitalisierung und Transformation gelebt und beforscht werden und so "21st Century Skills" vermittelt werden sollen.

Link zur IT:U -  interdisciplinary transformation university austria: https://it-u.at/

Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht.

 Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Michaela Lamplmayr

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at

Der Schwerpunkt dieser Podcastfolge ist transdisziplinäre Forschung und wie man sie fördern kann. Dazu haben wir Petra Biberhofer vom FWF interviewt. Sie ist für die Programme #ConnectingMinds und Emerging Fields zuständig. Warum der FWF entschieden hat, nicht-traditionelle Stakeholder in Forschungsprojekte einzubinden und wie das funktionieren soll, wird genauso besprochen, wie das entstandene ko-kreierte Wissen für alle nutzbar werden kann und welche speziellen Anforderungen Transdisziplinarität an die Programmevaluierung stellt.

Vielen Dank für das spannende Interview, liebe Petra! Wir freuen uns darauf, die Diskussion auf der diesjährigen REvaluation Conference weiterführen zu können!

Links:

• FWF Programme, die Transdisziplinarität ermöglichen:
  • #ConnectingMinds, für das voraussichtlich im Herbst 2024 die neue Ausschreibung startet
  • Emerging Fields
• TD Academy
• td-net 
• td-net Toolbox
• SHAPE-ID Toolkit  
• Head of Transdisciplinarity for NRP 82  
•  NFP 82 CH Nationalfonds
• ÖAW Earth System Sciences
• Cancer Mission Lab, LBG 
• AG Sozial-ökologische Transformation 
• EAWAG

Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. 

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Isabella Wagner

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at

This time we take the opportunity to share our take-aways from the 2023 Autumn Event by the European Evaluation Society (EES) under the Motto "Alternative Futures: What role for evaluation in a just transition?".  As our interview guest, we invited May Pettigrew, EES Vice Chair and main organiser of the Autumn Event to discuss with us the impressions we had. We chat about the diversity of contributions to this online conference, learn how plurality is key for just transitions as well as meaningful evaluations, and we get recommendations what evaluators need to understand and do now to cope with AI technologies entering the field. In particular, we focus on two sessions:

1) Session "Evaluating the Impact of Innovation and SME Support Programs:
Unleashing Entrepreneurial Potential" - Full recording of the session [via YouTube]

• Contribution by Cliff Paredes,  Massachusetts SBDC Network 
• Contribution by Raffaele Trapasso,  OECD Centre for Entrepreneurship, SMEs, Regions & Cities 
• Closing by Mita Marra,  Editor In Chief at Evaluation and Program Planning 

2) Keynote  "A just Transition" by Linda Raftree, MERL Tech Initiative
- Full recording of the keynote talk [via YouTube]

Thank you for this great conversation!

Music: Urbana-Metronica (wooh-yeah mix) by spinningmerkaba (c) copyright 2011 Licensed under a Creative Commons Attribution (3.0) license. http://dig.ccmixter.org/files/jlbrock44/33345 Ft: Morusque, Jeris, CSoul, Alex Beroza 

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at

 Als kleines Geschenk von der und für die Community haben wir in diesem Jahr eine Weihnachtsfolge aufgezeichnet! 
Wir haben jene, die uns in den letzten Wochen und Monaten vor's Mikrofon gekommen sind, gefragt, was ihr Wunsch als Christkind für FTI-Politik ist. 

Viel Spaß mit der Weihnachtsfolge und gute Unterhaltung mit den Wünschen unserer Betragenden!

• Susanne Bührer, Fraunhofer ISI
• Neil Brown, Technopolis Group | UK
• Florentine Frantz, Technopolis Group | Austria
• Hans Holzinger, Scientists 4 Future
• Peter Kolarz, Technopolis Group | UK
• Katja Mayer, Universität Wien und Zentrum für Soziale Innovation
• Susanne Meyer, BMK
• Michael Ploder, Joanneum Research
• Siegfried Reich, Salzburg Research
• Thomas Scherngell, AIT
• Klaus Schuch, Zentrum für Soziale Innovation
• Sonja Sheikh, ACR, Obfrau der fteval Plattform und Rätin im Rat für Forschung, Wissenschaft, Innovation und Technologieentwicklung
• Tanja Spenlingwimmer, aws
• Michael Stampfer, WWTF
• Katharina Warta, Technopolis Group | Austria und ehem. Obfrau der fteval Plattform

Links zu den erwähnten Veranstaltungen: 

• RISIS 2 International Conference
• GRANteD Stakeholder Conference
• Wissenstage Salzburg 2023
• REvaluation Conference 2024 - SAVE THE DATE!
  
  

Die besten Wünsche für ein gutes neues Forschungsjahr! 
Tobias & Isabella

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44
Klangeffekt: Magic by Sonically Sound (Enes DENIZ) - https://freesound.org/people/sonically_sound/sounds/613163/ 

podcast(at)fteval.at - twitter.com/fteval - www.fteval.at