Continu ‘visiteerbaar’ met nieuw kwaliteitsbeleid

Verplicht door een hoepeltje springen. Dat moet sowieso niet meer het gevoel zijn wanneer een lectoraat wordt gevisiteerd. In ieder geval als het ligt aan Natascha van Hattum en Anouk van Rossum, de adviseurs kwaliteitszorg van SRGS. Zij werken aan een breed gedragen kwaliteitscultuur; iets waar veel bij komt kijken. Kwaliteitszorg kent een dynamische kant, waarbij zaken als de Nederlandse Gedragscode Wetenschappelijke Integriteit en peer reviews doorlopend aandacht verdienen. Aan de formele kant is er een belangrijke rol weggelegd voor de visitaties in het praktijkgericht onderzoek, die eens in de zes jaar plaatsvinden.

Niet dat Natascha en collega’s slechts één keer in de zes jaar met die visitaties bezig zijn; alle voorbereidingen starten al veel eerder. De visitaties voor de periode 2023-2028 vonden recent bij Saxion plaats volgens het Brancheprotocol Kwaliteitszorg Onderzoek (BKO). Er kan worden teruggekeken op een succesvolle ronde, mede dankzij verbeteringen die op het vlak van de kwaliteitszorg zijn doorgevoerd. Het zorgde al met al voor een intensief jaar. “Bij de start van het BKO 2023-2028 gingen we intern ook van start met ons nieuwe kwaliteitsbeleid,” vertelt Natascha. “Het format van het vorige kwaliteitsbeleid was erg gericht op het zelfevaluatierapport, de kpi’s en dat soort dingen. Best wel instrumenteel. Die dingen moeten óók gebeuren, maar eigenlijk wil je een kwaliteitsbeleid dat meer dan alleen maar instrumenteel is. Je wilt ook weten: waarom doen we dit met z’n allen?”

Kwaliteitskaart Onderzoek Saxion

Om dat laatste duidelijk te krijgen, is in het nieuwe kwaliteitsbeleid veel ruimte gereserveerd om aan te geven hoe Saxion wil bijdragen aan onderzoek met impact. Met een nieuwe set indicatoren, die is ontwikkeld in samenwerking met de onderzoeksgemeenschap, kan deze impact scherper in beeld worden gebracht. Voorheen werd de benodigde kwaliteitsinformatie op een decentrale manier per lectoraat verzameld, door alle kwaliteitszorgmedewerkers en op verschillende manieren. Natascha: “Je kunt je voorstellen dat daar behoorlijke foutmarges bij kwamen kijken, en het was ook nog eens een hoop werk. Bovendien werd het niet heel erg gedragen door de onderzoeksgemeenschap.”

Genoeg redenen dus om het anders, en vooral ook beter te doen. “Bij het nieuwe kwaliteitsbeleid zijn we gaan kijken hoe we de nieuwe indicatoren kunnen weergeven,” zegt Natascha. “Want het is leuk dat je indicatoren hebt, maar die moeten wel voor iedereen toegankelijk en zichtbaar zijn.” Het leidde – na een proces waarbij de onderzoekers van Saxion nauw betrokken waren – tot een visueel aantrekkelijk dashboard. Oftewel: de Kwaliteitskaart Onderzoek Saxion (KOS), een hulpmiddel dat continu laat zien hoe het er bij de verschillende lectoraten voor staat.

Uren

Hoewel je bij een dashboard op de eerste plaats wellicht denkt aan feiten en cijfers, is het kwalitatieve verhaal achter al het Saxion-onderzoek minstens zo belangrijk. Natascha klikt naar de KOS toe op haar laptop: “Dit is bijvoorbeeld een toelichting op de KOS in het algemeen… en hier kun je continu zien hoe we zijn aangehaakt bij regionale strategische agenda’s; per agenda zie je welke projectomvang daaraan toegekend is.”

Projectomvang: daarachter schuilt een verhaal dat meer over geïnvesteerde uren dan om geld gaat. Die uren zijn ook belangrijk als je het bijvoorbeeld hebt over praktijkpartners uit het mkb. In het mkb zijn – net als in het onderwijs of in de zorg – lang niet altijd financiële middelen beschikbaar om in onderzoek te investeren. Maar wanneer een ondernemer uit het mkb het praktische nut van een onderzoeksproject inziet, dan is er mogelijk wél ruimte voor een investering in uren. Wat weer welkome voeding voor de KOS is. Immers: ook een vruchtbare samenwerking zegt iets over de impact van praktijkgericht onderzoek.

Paraatheid

Eigenlijk gaat iets als ‘een vruchtbare samenwerking’ vooral over de rándvoorwaarden die nodig zijn voor impactvol onderzoek. Natascha: “We hebben niet de illusie dat we met de KOS in directe zin de impact gaan meten, en dat kán ook helemaal niet op deze manier. Het gaat meer om de meest haalbare optie om continu indicatoren in kaart te brengen, zonder dat je daarover eindeloze discussies hoeft te voeren. Wat ook bij de KOS hoort is een zogenaamde reflectietool, waarin lectoraten per indicator kunnen reflecteren op wat ze doen en wat ze daarvan vinden.”

Is de KOS nu helemaal klaar? Als we die vraag later voorleggen aan Anouk van Rossum, geeft ze aan dat er altijd nog ruimte voor verbetering is: “We hebben op dit moment een werkgroep met lectoren, onderzoekers en medewerkers van ondersteunende diensten om de datakwaliteit van de KOS en het gebruiksgemak van de reflectietool te verhogen. Een uitdagende opdracht, omdat  dit soms gepaard gaat met flinke veranderingen in systemen."

Zorgen dat Saxion continu visiteerbaar is: dat was een achterliggend doel bij de ontwikkeling van de KOS en het anders inrichten van de kwaliteitszorg. Natascha vertelt dat de weg naar die voortdurende staat van paraatheid ingewikkeld was: “De panels die de visitaties uitvoeren zijn nog gewend aan een traditioneel zelfevaluatierapport, waarin alles staat samengevat met wat bijlagen. Mensen moesten daarom eerst even zoeken, ze vonden het een beetje lastig. Aan de andere kant begrepen ze ook wel dat we deze efficiëntie- en verdiepingsslag wilden maken. Het gaat toch om publiek geld. Daarbij hoort een verantwoordingsfunctie, en dat mag best wat duidelijker zichtbaar zijn.”

Tastbaar onderzoek

Visitaties. Panels die op bezoek komen. Hoe dat er allemaal uitziet in de werkelijkheid? Naast het aanleveren van alle documentatie die gevraagd wordt, bereiden de lectoraten ook een dagprogramma voor. Hiermee proberen ze zo representatief mogelijk te laten zien wat voor onderzoek er wordt gedaan, hoe dit wordt georganiseerd en tot welke impact dat leidt. “De panels waren er steeds al op de avond ervoor,” zegt Natascha. “Dan overlegden ze met elkaar en hadden ze een werksessie bij Saxion. Een dag later kwamen ze ‘s ochtends om acht uur weer binnen en gingen ze tegen zessen pas naar buiten. Tijdens zo’n dag heb je dan een rondleiding, en sessies met de lectoren, onderzoekers en academiedirecteuren. Maar je ontmoet ook studenten, interne samenwerkingspartners en partners uit het werkveld. Zeker door de gesprekken met het werkveld wordt het onderzoek veel beter tastbaar voor een panel. Dan begrijpen ze echt de meerwaarde.”

Na elke visitatie stelt het panel een rapport op, waar het gevisiteerde cluster nog een keer feedback op mag geven. “We doen het nu voor alle lectoraten op dezelfde manier,” vult Natascha aan. “Wat we nu ook doen – en vroeger niet of nauwelijks – zijn proefvisitaties, die we organiseren met lectoraten uit andere clusters. De betrokkenheid van de onderzoeksgemeenschap bij elkaars visitaties was dus best groot. Mensen zien dat je constructief, maar wel kritisch doorgezaagd wordt, en je krijgt een kijkje in elkaars keuken.”

Het goede gesprek

Tijdens de recente visitaties heeft Saxion gewerkt met drie vaste voorzitters en twee secretarissen, zodat beter met een overkoepelende blik naar al het onderzoek kon worden gekeken. De drie voorzitters hadden allemaal een andere achtergrond: één voorzitter was actief in het techniekdomein, één in het gezondheidsdomein, en de derde voorzitter had veel ervaring in het onderwijs- en het economisch domein.

Hoe kwam het onderzoek van Saxion eigenlijk uit de bus? Natascha: “Je wordt beoordeeld op verschillende standaarden. De meeste excellente beoordelingen zijn gevallen op de standaard die met impact heeft te maken. Maar dat wil zeker niet zeggen dat de kwaliteit van degenen die nu niet zo’n beoordeling hebben ontvangen ook niet excellent kan zijn.” Misschien nog wel belangrijker: door de nieuwe manier van werken kan Saxion de komende jaren instellingsbreed met kwaliteitszorg aan de slag. Wat overheerst is dan ook een positief gevoel: “Lectoren geven aan dat ze met alle inzichten en cijfers die ze nu hebben een heel ander gesprek met hun directeur voeren dan daarvoor. Dan denk ik: dát is waar we het voor doen. Het gaat niet om scoren op indicatoren, maar om jouw onderzoek en wat je daarmee wilt bereiken. Het goede gesprek vind ik heel belangrijk, en ik ben blij dat we daaraan kunnen bijdragen.”

Fotografie: Thomas Busschers