Explorez tous les épisodes du podcast REvaluation Podcast
| Titre | Date | Durée | |
|---|---|---|---|
| Folge 35 - "Critical Friends" und wie man sie findet: Ein Erfahrungsaustausch zu Panelevaluierung | 13 Nov 2025 | 00:47:15 | |
Am 4. November 2025 luden der Wiener Wissenschafts-, Forschungs- und Technologiefonds (WWTF) und die Plattform fteval zu einer Veranstaltung über Panelevaluierung, um die Erfahrungen in der Community in einen Austausch zu bringen. Für diese Podcastfolge haben wir die Diskussion für unsere Zuhörenden eingefangen: Magdalena Wicher und Michael Strassnig vom WWTF fassen mit Katharina Warta, Leiterin des österreichischen Büros von Technopolis Group, die wichtigsten Punkte zusammen und kommen am Ende sogar noch in eine richtige Kontroverse! Für die Beteiligten ist klar, was die Vorteile von Panels sind, weil man beispielsweise rasch die kritischen Punkte zum Evaluationsobjekt identifiziert werden können und die Rolle der "Critical Friends" sehr wertvoll sein kann. Gleichzeitig ist es herausfordernd und ressourcenintensiv, ein ausgewogenes und hochkarätiges Panels zu etablieren und Ownership über den Evaluationsgegenstand und Vertrauen zu generieren. Die Bedeutung von persönlichen Treffen wird besonders herausgestrichen. Katharina teilt ihre Erfahrung aus der Gruppendynamik und erklärt anhand des Johari-Fensters, wie man blinde Flecken, Unbekanntes und Geheimes aufdecken kann.
Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Episode #34 - "Crafting career trajectories that are attractive for excellent people": Markus Wanko at XISTA | 05 Nov 2025 | 00:37:26 | |
Markus Wanko is the founding force behind the XISTA innovation ecosystem, empowering science innovators. Today, Markus leads XISTA’s venture fund (Managing Partner), science park (MD), and tech transfer arm (MD). With his work he helps ISTAs research to develop it's full societal potential. In this interview we learn how start up trainings must be sector specific to be most effective, where the venture capital for the science start-ups typically comes from and what Markus recommends to the evaluation community: To take evaluation seriously! Links:
Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| REvaluation Special #2: Does AI really save work in evaluation, Linda Raftree? | 25 May 2025 | 00:36:11 | |
Interest in artificial intelligence (AI) has been growing among the monitoring, evaluation, research and learning (MERL) community over the past decade. Yet AI adoption has been hampered by lack of data science capacities, low trust in AI, ethical concerns, affordability, absence of applicable use cases, and multiple other barriers. The public release of mainstream Generative AI (GenAI) applications, beginning with ChatGPT in late 2022, changed the game. GenAI and natural language processing (NLP) tools are now more accessible. For MERL Professionals, the hope is that they might support program delivery, improve efficiencies, and help us to find meaning in large troves of qualitative data. At the same time, the untested nature of emerging AI — especially in low resource contexts and fragile environments. The potential harms due to bias, low levels of reliability and validity, lack of accountability, and negative wider societal impacts such as job loss and the environmental costs of data processing make the use of GenAI an ethically fraught exercise. The MERL community is varied in its attitudes toward GenAI. Some are rushing to embrace and adopt it, at times uncritically. Others are avoiding GenAI altogether, perhaps out of fear or disinterest, but also because of real concerns about the practical utility and the bigger issues with AI ethics. At this talk Linda Raftree elaborates, with real world examples, on how and where GenAI is being used in the MERL space. She also examines how and why the wider AI boom is affecting our societies and our planet to spur us to think critically about AI in our work and in the world and to re-examine the role of Evaluators as users and assessors of AI. Links:
Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research and the whole fteval Community. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| REvaluation Special #1: Can we just have more causal methods in the evaluation of innovation and research policies? | 24 May 2025 | 00:55:36 | |
Whether it is business innovation or basic research, new quantitative methods or new micro-level and register data open up opportunities to investigate the relationships between policies and their intended effects. The aim of the panel is to facilitate an exchange on methods and data for causal evaluation in various innovation and research policies. Which opportunities can we identify, which challenges remain for an increased use of these methodological approaches in evaluations in the medium and long term? Panellists
Moderator Thomas König, Managing Director at FORWIT - Austrian Council for Sciences, Technology, and Innovation Panel Organisers
Links:
This panel and thte podcast episode were inspired and supported by the Ministry of Women, Science and Research. Thank you! Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 22 - Brigitte Tiefenthaler evaluiert Österreichs Beitrag zum "EU Binnenmarkt für Forschung" | 19 Dec 2024 | 00:43:25 | |
Brigitte Tiefenthaler hat schon an ganz unterschiedlichen Stationen im FTI-System gearbeitet, seit 2007 ist sie Beraterin bei Technopolis in Wien. Sie beschäftigt sich besonders gerne mit Fragen der Transformation und der Partizipation. So kommt es nicht ungelegen, dass der Österreichische Aktionsplan für den Europäischen Forschungsraum (ERA-NAP) 2022-2025 ebenfalls mit Hilfe von Konsultationen entstanden ist. Wie man so einen Aktionsplan evaluiert, erfahren wir in dieser Podcastfolge. Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 21 - Evaluierung auf lokaler, nationaler und europäischer Ebene: im Gespräch mit Angelika Sauer-Malin | 30 Sep 2024 | 00:29:13 | |
Angelika Sauer-Malin ist Forscherin und Evaluatorin im Bereich POLICIES bei Joanneum Research in Graz. In dieser Podcastfolge erzählt sie über ihre Arbeit als Evaluator:in auf lokaler, nationaler und europäischer Ebene und was sie damit bisher bewirken konnte. Wir lernen, welche Skills Evaluator:innen mitbringen müssen, wie man eine anstatt einer "Beurteilungs-" eine Lernatmosphäre schaffen kann und womit sich in ihre Abteilung sonst so beschäftigt. Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 20 - Qualität auf die grüne Wiese planen: Die Neugründung der IT:U | 02 Sep 2024 | 00:54:14 | |
Für diese Folge haben Tobias und Isabella die neu gegründete IT:U in Linz besucht und Stefanie Lietze und Gerd Krizek gefragt, wie sie ihr Qualitätssicherungssytem komplett von Anfang an aufbauen. Wir lernen, dass die "Digitaluni" sehr wohl analoge Lehr-/Lernlabore betreibt, wie die Kriterien Interdisziplinarität, Digitalisierung und Transformation gelebt und beforscht werden und so "21st Century Skills" vermittelt werden sollen. Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 19 - Wie fördert man transdisziplinäre Forschung, Petra Biberhofer? | 16 Jul 2024 | 00:41:04 | |
Der Schwerpunkt dieser Podcastfolge ist transdisziplinäre Forschung und wie man sie fördern kann. Dazu haben wir Petra Biberhofer vom FWF interviewt. Sie ist für die Programme #ConnectingMinds und Emerging Fields zuständig. Warum der FWF entschieden hat, nicht-traditionelle Stakeholder in Forschungsprojekte einzubinden und wie das funktionieren soll, wird genauso besprochen, wie das entstandene ko-kreierte Wissen für alle nutzbar werden kann und welche speziellen Anforderungen Transdisziplinarität an die Programmevaluierung stellt.
Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Episode 18 - How plurality strengthens evaluation: interview with May Pettigrew about the EES Autumn Event | 04 Apr 2024 | 00:57:09 | |
This time we take the opportunity to share our take-aways from the 2023 Autumn Event by the European Evaluation Society (EES) under the Motto "Alternative Futures: What role for evaluation in a just transition?". As our interview guest, we invited May Pettigrew, EES Vice Chair and main organiser of the Autumn Event to discuss with us the impressions we had. We chat about the diversity of contributions to this online conference, learn how plurality is key for just transitions as well as meaningful evaluations, and we get recommendations what evaluators need to understand and do now to cope with AI technologies entering the field. In particular, we focus on two sessions:
2) Keynote "A just Transition" by Linda Raftree, MERL Tech Initiative podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 17 - ***Weihnachtsfolge*** Wünsche ans FTI-Politik Christkind | 20 Dec 2023 | 00:27:32 | |
Als kleines Geschenk von der und für die Community haben wir in diesem Jahr eine Weihnachtsfolge aufgezeichnet! Viel Spaß mit der Weihnachtsfolge und gute Unterhaltung mit den Wünschen unserer Betragenden!
Links zu den erwähnten Veranstaltungen:
Die besten Wünsche für ein gutes neues Forschungsjahr! podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Episode 16 - Community Science as a Place for Communities to learn: Interview with Emilio Velis | 15 Dec 2023 | 00:25:12 | |
This episode completes our little series about participation that started with Episode 15 . We take a closer look at participation in the context of open innovation processes using the example of “Appropedia”, a wiki-based ontology that was itself developed in a participatory manner. In this interview with Emilio Velis, we learn that participatory projects must always give the community involved the opportunity to learn. Links
This episode was made possible with the kind support of the Federal Ministry for Climate Action, Environment, Energy, Mobility, Innovation and Technology. Thank you! Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Photo from emiliovelis.com under a CC-BY 4.0 license. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Episode 15 - Planning Impact Together: Katja Mayer on Participatory Evaluation | 15 Dec 2023 | 01:00:13 | |
Katja Mayer gives fascinating insights into participatory methods for evaluation, with a particular focus on evaluating science projects that themselves have participatory elements. We learn that it is a challenge for scientists to suddenly be moderators of a complex debate and mediators of group dynamics. But we also learn how this can be tackled and how a participatory process can be democratising rather than exploiting. Also, participation does not mean to include everybody, but to get representation right for the purpose of the project at stake. With a fundamental understanding that evaluation has to be part of every research project and not something that is done by auditors afterwards, Katja invites planning, designing and creating impact together from scratch. This is how it is a co-evaluative journey throughout the research process and citizens will not feel evaluated themselves, but get a tool at hand to be masters of their own impact. Our focus episodes on participatory methods are drawing from the experience we made in the special issue #54 of the fteval Journal. The next episode 16 presents an interview with Emilio Velis with an approach to open innovation. Links
This episode was made possible with the kind support of the Federal Ministry for Climate Action, Environment, Energy, Mobility, Innovation and Technology. Thank you! Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Episode #33 - Anastasia Lijadi about IIASA as a "scientific powerhouse" | 05 Nov 2025 | 00:41:10 | |
Anastasia Lijadi is Executive Assistant to the Deputy Director General and Gender Equality and DEI Officer at the International Institute for Applied Systems Analysis (IIASA). We hear how IIASA's international set-up allows research perspectives at a global systemic scale to tackle our time's most pressing problems. More information about IIASA's Gender Equality Plan can be found here: https://iiasa.ac.at/about-iiasa/institute/equality-diversity-and-inclusion/iiasa-gender-equality-plan-gep Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Episode 14 - Research Infrastructures as a Life Commitment | 28 Nov 2023 | 00:57:42 | |
In this episode, we look at the question of how to evaluate large research infrastructures – from the Large Hadron Collider to the European Social Survey. We conducted a very exciting online interview with our colleagues Neil Brown and Peter Kolarz from Technopolis Group | UK. We learnt that a new research infrastructure is like a life commitment and that you have to immerse yourself in order to understand the effects on all dimensions.
This episode was made possible with the kind support of the Federal Ministry of Education, Science and Research (BMBWF). It is part of the initiative of the BMBWF for strengthening trust in sciecne and democracy in Austria (#TruSD). Thank you very much! Photo in Artwork by CERN, CC-BY-SA podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 13 - Wie Digitalisierungspionierinnen Gesellschaft gestalten und wie man sie fördert, solche zu werden | 04 Oct 2023 | 00:59:38 | |
Wie Digitalisierungspionierinnen Gesellschaft gestalten und wie man sie fördert, solche zu werden haben wir diesmal Roland Sommer von der Plattform Industrie 4.0 und Fridolin Herkommer von der Bundesarbeitskammer gefragt.
Diese Folge wurde mit freundlicher Unterstützung des Bundesministeriums für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie ermöglicht. Vielen Dank! podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 12 - Wie evaluiert man Forschungsschwerpunkte, Gregor Weihs? | 31 Aug 2023 | 00:40:20 | |
IIn dieser Folge lernen Tobias und ich von Photonik-Koryphäe und Vize-Rektor für Forschung, Prof. Gregor Weihs, was die strategische Ausrichtung auf interdisziplinäre Forschungsschwerpunkte an einer Universität bedeutet und wie man Evaluierung zur Weiterentwicklung der Themenfelder nutzen kann. Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. Sie ist Teil der Initiative des BMBWF zur Stärkung des Vertrauens in Wissenschaft und Demokratie in Österreich (#TruSD). Herzlichen Dank! Musik: Urbana-Metronica (wooh-yeah mix) by spinningmerkaba (c) copyright 2011 Licensed under a Creative Commons Attribution (3.0) license. http://dig.ccmixter.org/files/jlbrock44/33345 Ft: Morusque, Jeris, CSoul, Alex Beroza podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 11 - Kann eine nationale Strategie das Hochschulwesen sozialer machen? | 10 Aug 2023 | 01:40:19 | |
Dieses Mal hatten wir Freud' und Ehr' mit zwei Expert:innen aus der Hochschulforschung zu sprechen: Silke Preymann und Martin Unger. Anlass war die Zwischenevaluierung der Nationale Strategie zur sozialen Dimension in der Hochschulbildung des BMBWF, die vergangenes Jahr veröffentlicht wurde. Wir erfahren, wie viele österreichische Hochschulen Strategien und Aktivitäten zur Förderung benachteiligter Gruppen haben und dass es dafür eine Vielzahl unterschiedlicher Maßnahmen gibt. Warum man nicht sagen kann, ob Studierende mit Behinderungen im Vergleich zur Gesamtbevölkerung unter- oder überrepräsentiert sind, dass Studierende im Schnitt viel älter sind, als es der landläufigen Vorstellung entspricht und warum es keinen Sinn macht, spezifische Maßnahmen für einzelne Gruppen zu setzen - diese interessanten Umstände und noch einige mehr werden in den knapp 100 Minuten dieser Podcastfolge erklärt. Weiterführende Links:
Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. Sie ist Teil der Initiative des BMBWF zur Stärkung des Vertrauens in Wissenschaft und Demokratie in Österreich (#TruSD). Herzlichen Dank! Musik: Urbana-Metronica (wooh-yeah mix) by spinningmerkaba (c) copyright 2011 Licensed under a Creative Commons Attribution (3.0) license. http://dig.ccmixter.org/files/jlbrock44/33345 Ft: Morusque, Jeris, CSoul, Alex Beroza podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 10 - Lasst uns Lernprozesse kultivieren! - Harald Wieser über transformative Innovationspolitik | 13 Jun 2023 | 00:51:59 | |
Für diese Folge hatten wir unseren fteval-Kollegen Harald Wieser von der KMU Forschung Austria zu Gast bei dem wir uns unter anderem diesen Fragen gewidmet haben: Was sind Missionen? Harald plädiert für die Schaffung von Lernräumen, damit wir als Gesellschaft gemeinsam nachhaltige Praktiken kultivieren können. Wie das funktionieren kann, erfahrt ihr in diesem kurzweiligen Gespräch. Links und weiterführende Informationen:
Vielen Dank an BMK und KMU Forschung Austria für die Kooperation zu dieser Podcastfolge! podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 9 - CDG: der Doppler-Effekt der Forschungsförderung | 28 Apr 2023 | 00:54:47 | |
In dieser Folge waren wir in die Zentrale der Christian-Doppler-Forschungsgesellschaft geladen und hatten Freud' und Ehr' mit dem Senatsvorsitzenden Prof Hans Irschik und der Stv. Generalsekretärin Brigitte Müller zu plaudern. Wir haben Fragen zu Evaluierung, Transformation und natürlich der speziellen Wirkungsweise der CDG gestellt. Was meinen Sie? Wie sollten bottom-up und top-down Zugänge in der Forschungspolitik sinnvoll kombiniert werden? Schreiben Sie uns gerne an podcast@fteval.at. Diese Folge des REvaluation Podcast wurde mit freundlicher Unterstützung des Bundesministeriums für Arbeit und Wirtschaft ermöglich. Vielen Dank! podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 8 - Das AMDC: Für verknüpfte Mikrodaten ziehen wir alle Register | 18 Apr 2023 | 01:35:54 | |
In dieser Folge wird das 2022 gelaunchte Austria Mikrodatacenter (AMDC) vorgestellt, wobei eine Menge interessanter Fragen aufgetaucht sind: Warum könnte das Austria Microdata Center (AMDC) die Arbeitsplatzanordnung an Forschungsinstitutionen verändern? Wir haben Sabine Kogler und Harald Titz vom BMBWF als die "Datensammler", Simon Hartmann von der Statistik Austria als "den Datenvermittler" und Monika Mühlböck vom IHS als Vertreterin der Anwendungsperspektive eingeladen und ein sehr spannendes, ausführliches Gespräch geführt. Zu Beginn wird geklärt, was hinter dem AMDC steckt und wie die Entwicklung vorangetrieben wurde. Im zweiten Teil wird noch genauer beschrieben, wie so ein Datenzugang aussieht und was er kann und wir fragen nach den Weiterentwicklungsperspektiven des AMDC. Wie gewohnt, kann man entlang der Kapitelmarken innerhalb der Podcastfolge navigieren und sich so die interessantesten Stellen auswählen. Alle Infos und Kontakt zum AMDC finden Sie auf der Website der Statistik Austria: https://www.statistik.at/services/tools/services/amdc-mikrodaten-fuer-die-wissenschaft Unterlagen zur Vorstellung des AMDC an die fteval Community: https://fteval.at/event/was-bietet-das-amdc-fuer-fti-evaluierung/ Die Interviewpartner:innen (Reihenfolge in der Vorstellungsrunde):
Genannte Abkürzungen und weiterführende Links:
Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. Sie ist Teil der Initiative des BMBWF zur Stärkung des Vertrauens in Wissenschaft und Demokratie in Österreich (#TruSD). Herzlichen Dank! podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 7 - Who is responsible here? (RRI@RFOs) | 24 Mar 2023 | 00:30:23 | |
Episode #7 looks at responsibility in research and innovation with a special focus on research funding organisations (RFOs). We had the opportunity to join an event with a panel discussing implications of responsibility, particularly against the background of our society's need to transform. We highlight a few extracts from this panel discussion which took place on 6 February 2023 as part of the Final Conference of Co-Change, a project working towards Responsible Research and Innovation (RRI). The project was funded by the EU within the H2020 framework programme and coordinated by Peter Biegelbauer, Senior Scientist at the Austrian Institute of Technology. In the panel discussion, the role of RRI for RFOs and the role of RFOs in shaping responsibility was discussed by
Additional material:
This podcast episode was realised in cooperation with the Austrian Ministry for Climate Action, Environment, Energy, Mobility, Innovation and Technology. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 6 - "Damals so wertvoll wie heute" - Interview mit Dorothea Sturn | 14 Mar 2023 | 00:48:54 | |
Diesmal hatten wir die Gelegenheit mit einer geschätzten Kollegin und längjährigen Playerin im Feld zu plaudern. Wir hören über die Errungenschaften in der österreichischen FTI-Politik der letzten 25 Jahre und fragen, welche Rolle Evaluierung darin gespielt hat. Wir sprechen aber auch über die Zukunft und überlegen, wie man ein ganzes FTI-System an seiner Ausgerichtetheit auf eine gesellschaftliche Transformation Richtung Nachhaltigkeit messen kann. Dorotheas Profil auf der ZSI-Webseite: https://www.zsi.at/de/users/227 Hier einige weiterführende Links zu Strategien und Initiativen, die im Gespräch erwähnt werden:
Erwähnte Institutionen:
Services der fteval Plattform, auf die Dorothea hinweist:
Diese Podcastfolge wurde durch das Bundesministerium für Klimaschutz,Umwelt, Energie, Mobilität, Innovation und Technologie ermöglicht. Dankeschön! Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) von spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 5 - Digitaler Humanismus und Demokratie | 15 Feb 2023 | 00:33:58 | |
In dieser Folge präsentieren wir eine Diskussion darüber, wie humanistische Werte im digitalen Zeitalter manifestieren können und wie wir Bedingungen schaffen für Technologien, die dem Menschen bestmöglich dienen und eine erstrebenswerte Gesellschaft mitgestalten. Wir haben eine Podiumsdiskussion zu diesem Thema aufgezeichnet, die im Zuge der Vienna Digital Days 2022 stattgefunden hat. Diese Konferenz wurde von Urban Innovation Vienna über die Plattform Digital City Wien veranstaltet. Vielen Dank für die Möglichkeit des Mitschnitts!
01:28:16 Panel:
Links
Mit freundlichem Dank an
podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Episode #32: Let's play cards and co-create a theory of change within an hour! | 29 Sep 2025 | 00:28:32 | |
Erika Hajdu and Stefan de Jong of the Evaluating Societal Impact team at the Erasmus University Rotterdam developed a card game to structure discussions around complex impact pathways, and to enable teams to draft early versions of their Theory of Change in a more interesting, time-efficient way. They presented their approach at the REvaluation Conference, and we thought this tool might be useful for the fteval community. In this interview we learn how the game works and how it can be helpful for different settings. Links:
This episode was made possible with the friendly support of the Austrian Ministry for Women, Science and Research. Thank you for this cooperation! Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 4 - Do storks bring babies? Keynote on causality by Paul Hünermund | 29 Jan 2023 | 00:39:36 | |
This episode is on experimentation as a tool to understand causality in statistics. The moderators take this as an occasion to do an "experiment" in the common sense themselves and produce a complete episode in English. Paul Hünermund of Copenhagen Business School held this keynote speech during the REvaluation Conference '22. Presentation slides to his speech [PDF]
Mentioned contributions on experimentation to the REvaluation conference proceedings:
We are always happy about your feedback and ideas for future episodes! Contact us at podcast[at]fteval.at podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 3 - Integrität & Compliance in der Auftragsforschung | 16 Dec 2022 | 00:38:20 | |
Der Launch dieses Podcast und die ersten Folgen wurden mit freundlicher Unterstützung des Ministeriums für Bildung, Wissenschaft und Forschung ermöglicht. Vielen Dank! In dieser Folge präsentieren wir die gemeinsame Session der Vorstände von DeGEval und fteval zur Frage darüber, wie Standards in der Auftragsforschung zu einem Balancieren des Machtgleichgewichts zwischen Auftraggebenden und Auftragnehmenden beitragen können - oder nicht. Die Inhalte dieser Session wurden im Rahmen der DeGEval Jahrestagung 14-16 September 2022 in Linz aufgezeichnet. Wir präsentieren den Vortrag von Jürgen Janger und besprechen danach die wichtigsten Punkte der Diskussion.
Der Launch dieses Podcast und die ersten Folgen wurden mit freundlicher Unterstützung des Ministeriums für Bildung, Wissenschaft und Forschung ermöglicht. Vielen Dank! podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 2 - Wie hat die Pandemie Forschungs(politik)evaluierung verändert? | 09 Dec 2022 | 00:33:54 | |
Folge 2: Die COVID-19 und Veränderungen in FTI Politik und Evaluation
Panelists:
Hintergrundinfo:
Der Launch dieses Podcast und die ersten Folgen wurden mit freundlicher Unterstützung des Ministeriums für Bildung, Wissenschaft und Forschung ermöglicht. Vielen Dank! podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 1 - Wie können die UN-Nachhaltigkeitsziele an Universitäten verwirklicht werden? | 02 Dec 2022 | 00:40:25 | |
In Folge 1 hören wir uns die Eröffnungsworte der REvaluation Conference 2022 an, in denen erklärt wird, wie FTI-Politik-Evaluierung und Transformation zusammenwirken können. Passend dazu lassen wir euch Luke Georghious Keynote anhören, in der es darum geht, wie man an der Universität Manchester versucht, die UN-Ziele für nachhaltige Entwicklung in die eigene Entwicklungsstrategie einzubetten und was das für die Performance in traditionellen Rankings bedeutet. Präsentationsfolien zu Luke Georghiou's Keynote Rede zum Download [PDF] podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 0 - Warum ein Podcast über Forschungspolitikevaluierung? | 21 Nov 2022 | 00:19:15 | |
In Folge 0 stellen Tobias und Isabella sich als Moderationsteam vor und plaudern über ihre Arbeit im Bereich Forschungs- und Innovationspolitik und wie der Podcast zum Erfahrungsaustausch beitragen soll. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| Folge 31 - Innovation messen, Chancen erkennen: WPZ Research über Österreich im European Innovation Scoreboard | 28 Sep 2025 | 00:35:19 | |
Diesmal waren wir zu Gast bei WPZ Research und konnten uns dort einiges über die jüngste Ausgabe des European Innovation Scoreboards (EIS) und Österreichs Performance darin erfahren. Brigitte Ecker und Sascha Sardadvar erklärten uns geduldig, was uns der EIS sagen kann und was nicht und wie es sonst so um die Zukunftsfähigkeit der österreichischen Forschungslandschaft bestellt ist. WPZ Research ist als kleines unabhängiges Forschungsinstitut auch deshalb besonders, weil es zur DNA gehört, dass alle Forschenden gleichzeitig auch in der Lehre aktiv sind. Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Frauen, Wissenschaft und Forschung (BMFWF) ermöglicht. Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| REvaluation Special #7: What skills does the next generation of evaluators need? | 30 May 2025 | 00:50:06 | |
There is a generation shift in the community going on and in the dynamic landscape of research and innovation, the perspectives of the next generation are crucial for shaping future policies and practices. In this panel we tried to bring together younger researchers and evaluators and senior counterparts to discuss the challenge, demands and future directions of innovation research and policy evaluation. Panellists
Moderators Philippe Larédo & Julia Melkers Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| REvaluation Special #6: Are we all metascientists now, James Wilsdon? | 29 May 2025 | 00:48:07 | |
Motivated by evidence based scientists doing gut-based science policy, and by science policy maker acknowleding the faults of the system when they leave it rather than when they can still do something about it, James Wilsdon of RoRI turned his attention towards meta science in this REvaluation 2024 keynote. Meta Science, Meta Research, Science of Science, Research of Research are all the same, and not new, but new things are going on. Applying robust methods to understanding, analysing and improving the science system! He shows that he is not the only one, but more and more RoR is done out of the various discplines and sub-disciplines themselves, in particular, because there is data to do so, and that adds specific domain knowledge to the pool of RoR bottom-up. Top-down, from science funders, are at least in the UK again testing their funding in large-scale experimental settings; and are opening their funding data for the ROR community. Lastly, new institutions contribute to the debate, in Carlifornia funded by the Tech community, trying to "practice meta science". Why does this happen? More investment, slow down of disruption and radical change, worries about too much reporting and to little impact, on-going crisis of replication, and rapdily changing landscape of scolar communication (open science, open data), pressure for excellence and AI and research funding. MetaScience is both a contribution to incremental change and a source for radical, systematic change. Concluding, Wilsdon argues for five priorities to go forward: more and better experimentation for evaluation (e.g. applicants reviewing other applicants, makes it easier to find reviewers, and to speed up the process); investing in infrastructures for doing MetaScience at scale and long-term (e.g. the publish-curate-review-platform MetaROR); Foster cross sector alliances (e.g. MetaScience Alliance); with more global conversations beyond western countries; and demonstrate the worth of MetaScience! Links:
Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research and the whole fteval Community. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| REvaluation Special #5: How to fund transdisciplinarity? | 28 May 2025 | 00:42:19 | |
There is momentum in the research community with regard to trandisciplinary research (TDR) and research funding, because societal transformation necessitates more complex solutions; but at the same time, the notion that research happens more and more within disciplines, and not across disciplines or in a transdisciplinary way. The panel discusses challenges, but also opportunities TDR provides and tackles questions and opportunities on reasons to fund TDR and how to achieve impact, and on related challenges. The panel touches on questions like how new is the approach, what can be done to support it further and how to provide contiunity and manage knowledge within the research system. The panelists were
Moderation: Petra Biberhofer, Austrian Science Fund Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| REvaluation Special #4: How do you measure impact at your ministry, Henriette Spyra? | 27 May 2025 | 00:41:32 | |
Henriette Spyra explains how the back then Austrian Federal Ministry for Climate Action implements a transformative Innovation Policy since 2021. RTI is one, but not the only one, policy that contributes to transformative change. Climate neutrality, competitiveness and sovereignty as well as resilience, security and well-being need nowadays a broad innovation approach and system view. The Ministry redesigned and focusses its thematic priorities, introduced new instruments and broadened its innovation community. A new approach towards monitoring, evaluation and learning was key. Examples will be presented on (1) what new approaches and elements have been introduced to better monitor and evaluate the entire portfolio of RTI activities and its interlinkages and (2) how especially the contribution of RTI towards green transition is monitored and evaluated. The discussion was moderated by Elke Dall. Links:
Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||
| REvaluation Special #3: Peer Review in Transition | 26 May 2025 | 00:51:58 | |
Peer review is a central instrument for the self-governance of the scientific community and for legitimizing e.g. funding decisions made towards both scolars and society. However, it is intransparent and time-consuming, especially so because more and more publications are produced. Therefore, the need to increase its quality and reliability was often recognized in the past years. Today, additional challenges have emerged such as generative AI, the occurance of predatory journals, paper/reviewer mills, etc. Nevertheless, peer review will most likely remain important for the foreseeable future, exemplified also by CoARA. On the REvaluation conference 2024, the editorial board of the academic journal Research Evaluation organised a panel discussion on this topic. The panel focusses on two main questions:
The panelists were
The panel was chaired by Emanuela Reale (IRCrES CNR-Italy). Further contributions are from Julia Melkers (Center for Organization Research & Design, School of Public Affairs, Arizona State University) and Nicolas Robinson-Garcia (Department of Information and Media Studies, University of Granada). Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/ Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community. podcast(at)fteval.at - twitter.com/fteval - www.fteval.at | |||