Konference na VUT se ohlédla za pěti lety Metodiky 17+

Na označení “kafemlejnek” si možná vzpomenou i ti, kteří se jinak o hodnocení vědy a výzkumu nezajímají. S určitým despektem označuje postup sčítání bodů za vědecké výsledky a jejich mechanický přepočet na podporu z veřejných financí. Od roku 2017 byl tento kritizovaný systém nahrazen novými zásadami hodnocení výzkumných organizací. Ty představuje Metodika 17+ (M17+), která oproti předchozímu upřednostňování kvantity vědeckých výstupů přinesla do oblasti národního hodnocení vědy a výzkumu větší důraz na kvalitativní indikátory. Jak si tato metodika pro hodnocení výzkumu vedla v uplynulých pěti letech? Na to byli 13. 4. v zaplněné aule Fakulty chemické VUT zvědaví zástupci výzkumných organizací z celé České republiky. Výroční konferenci na toto téma pořádala vládní Rada pro výzkum, vývoj a inovace (RVVI) ve spolupráci s Vysokým učením technickým v Brně (VUT).

Návštěvníky konference nejdříve přivítal prorektor VUT a člen RVVI Martin Weiter. Připomněl, že se VUT spolu s dalšími 12 českými výzkumnými organizacemi stalo signatářem evropské dohody o reformě hodnocení výzkumu ARRA a členem související evropské koalice CoARA. Ta si klade za cíl zvýšení dopadu kvalitativního hodnocení založeného na procesu nestranného přezkumu výsledků (peer review) oproti čistě numerickým a publikačním metrikám hodnocení výzkumu.

Na závěr vystoupení si Martin Weiter položil řečnickou otázku, proč se zamýšlet nad hodnocením výzkumu: „Jde o to, abychom podporovali výzkum, který má relevanci. Čelíme mnoha globálním výzvám a věda musí být jedním z nástrojů, který dokáže najít pomocné prostředky pro jejich řešení. Musíme proto umět zohlednit v rámci hodnocení nejen technické, ale i sociální, humanitní vědy a umělecké obory.“

S první prezentací vystoupil Tomáš Polívka, hlavní koordinátor národní metodiky. Nazval ji „M17+ po pěti letech: Zkušenosti, poučení a varování“ a představil v ní výsledky z hodnocení na národní úrovni za celé období a to především ve dvou modulech M1 a M2, které hodnotí výzkumné výsledky zadané do RIV (Rejstřík informací o výsledcích).

V další části se Polívka zabýval otázkou zvyšování kvality hodnocení a představil nástroje, které mají v tomto směru podpořit práci panelistů a hodnotitelů. Zmínil také tzv. krizi hodnotitelů, která spočívá v jejich nízkému počtu a pracovním přetížení. Vyzval přítomné zástupce výzkumných organizací, aby pomohli doplňovat jejich databázi.

Na Tomáše Polívku navázal náměstek ministryně pro vědu, výzkum a inovace Štěpán Jurajda, který posluchače seznámil s pokračováním pilotního programu získávání oborových portfolií vysokých škol. Jeho cílem je zjistit oborovou kapacitu a zaměření jednotlivých výzkumných organizací a tím pádem jejich podíl na špičkových výsledcích v daném oboru.

Program také ověřuje, zda organizace provozuje technické obory badatelským způsobem nebo zda je jejím cílem dělat aplikované výstupy. Odpověď na tuto otázku následně usnadní vzájemné srovnání aplikačně orientovaných výzkumných organizací v daném oboru, podle toho, co vykazují v kategorii společenská relevance (M1).

S příklady dobré a špatné praxe hodnocení v modulech M1 a M2 seznámili publikum dva zástupci Oddělení hodnocení výzkumných organizací Úřadu vlády ČR. Nejprve se Ondrej Majer věnoval peer-review hodnocení a jeho kalibraci nebo souladu M17+ s požadavky dohody ARRA. Upozornil také na nový nástroj na webu RVVI, který pomocí grafů přehledně přibližuje výstupy národního hodnocení.

Poté Michal Nekorjak nabídl postřehy k Modulu 2. Představil obecné principy M17+ a upozornil na související chyby, které spočívají ve slučování výsledků bez ohledu na jejich oborovost nebo sledování izolovaných statistických hodnot bez jejich porovnávání (benchmarkingu) například s výstupy ze zemí s obdobnými vědeckými kapacitami.

Závěr konference byl věnován zkušenostem z hodnocení M17+ za tři odborné panely (Social Sciences, Natural Sciences, Engineering and Technology) a úvahám o dalším rozvoji metodiky. Zaznělo, že po plném náběhu M17+ je teď ta správná chvíle na reflexi a změny, které by mohly nastat v další pětileté fázi. Příkladem změn může být upuštění od roční frekvence hodnocení a jeho provádění po segmentech (AV ČR, VŠ, vládní resorty) nebo změna popisu stupnice hodnocení za účelem lepšího vyhodnocení vlivu výsledku na obor.

Záznam konference na YouTube

Prezentace z konference ke stažení