Hodnocení výzkumu a vývoje a jeho výsledků

USNESENÍ  vlády České republiky ze dne 23. června 2004 č. 644

 
Na základě zjištění systémových nedostatků v hodnocení výzkumu byl vypracován návrh schválený vládou dne 23 . června 2004 č. 644, který mapuje systém hodnocení výzkumu a vývoje (dále jen VaV) v ČR, ukazuje jeho nedostatky a problémy a navrhuje řešení, spočívající především v zjednodušení celého systému hodnocení výzkumu.

Hlavní nedostatky stávajícího systému hodnocení  VaV:

a) hodnocení se soustřeďuje především  na hodnocení návrhů příslušných aktivit, kde práva a povinnosti jsou velmi podrobně legislativně upravena, zato kontrola výsledků VaV je upravena velmi obecně,
b)  neklade se důraz na náročné a dostatečné hodnocení dosažených výsledků a jejich porovnání s cíli deklarovanými v přihláškách projektů či vyhlašovaných programech atd.,
c) nedodržování obecných zásad jakéhokoliv hodnocení,
d) roztříštěnost systému hodnocení (často i v rámci jednoho resortu je několik systémů hodnocení) a jeho administrativní náročnost.

Stávající systém podpory VaV tedy neumožňuje rozlišit kvalitu dosahovaných výsledků, odbornou úroveň a výkonnost jednotlivých organizací, oddělení a jednotlivců a využít tato rozlišení ke změnám systému (výši poskytované podpory, organizačním změnám, zařazením pracovníků, platovým a kariérním řádům apod.).

Problémy a jejich řešení:

1) Hodnotící škála
Při hodnocení projektů musí být využívána standardní hodnoticí škála tak, aby byla dostatečně diferencována kvalita a úspěšnost řešení jednotlivých projektů. Hodnoticí škála musí jednoznačně určovat podíl od vynikajících až po nevyhovující a podle toho také přizpůsobit formu hodnocení.

2) Kritéria
Kritéria pro hodnocení výsledků musí být jasná, konkrétní, kvantifikovatelná a předem daná. Lze obtížně definovat jednotná kritéria pro hodnocení efektivity využívání prostředků ve všech oblastech VaV. Naopak je produktivní definovat kritéria hodnocení společná pro jednotlivé oblasti výzkumu a specifická kritéria hodnocení pro každý program nebo jinou srovnatelnou aktivitu.

Základní navržená kritéria pro hodnocení výsledků VaV v jednotlivých oblastech:
• technika a inženýrství (neživá příroda):
aplikované výsledky, patenty , licence, nové technologické produkty a technologie, články v impaktovaných² a ve vybraných recenzovaných³ vědeckých časopisech; odborné knihy či články v odborných knihách nebo recenzovaných sbornících v cizím jazyce,
• živá příroda (biologie, medicína, zemědělství, životní prostředí atd.):
nové léčebné postupy, uznaná plemena hospodářských zvířat, uznané odrůdy atd., články v impaktovaných² a ve vybraných recenzovaných3 vědeckých časopisech; odborné knihy či články v odborných knihách nebo recenzovaných sbornících v cizím jazyce, aplikované výsledky, patenty, licence, nové technologické produkty a technologie,
• společenské vědy (humanitní, sociální, ekonomické, právní a historické):
články v impaktovaných² a ve vybraných recenzovaných3 vědeckých časopisech v cizím i v českém jazyce, odborné knihy či články v odborných knihách nebo recenzovaných sbornících v cizím i v českém jazyce, aplikované výsledky,
• matematické vědy (matematika, kybernetika a informatika), fyzika a její aplikace, chemické vědy:
články v impaktovaných² a ve vybraných recenzovaných3 vědeckých časopisech; odborné knihy či články v odborných knihách nebo recenzovaných sbornících v cizím jazyce, aplikované výsledky, patenty, software, know-how, nové technologie, licence.
_____________________________________________
  „Patenty“ – zde a dále výsledky chráněné průmyslově právní ochranou a další, podobně chráněné výsledky (tj. přihlášky vynálezů, udělené patenty, průmyslové vzory, uznané odrůdy zemědělských plodin, uznaná plemena hospodářských zvířat apod.).

²  Sernam  impaktovaných časopisů  zveřejňuje v rámci Journal Citation Reports americký Science Citation Institute. Impaktované časopisy jsou odborná periodika, jejichž příspěvky procházejí náročným recenzním řízením.Tzv. impakt faktor časopisu je číslo, které určuje kvalitu časopisu v daném oboru. Čím je impakt faktor vyšší, tím je časopis kvalitnější, sledovaný širší vědeckou obcí a tím i důležitější pro rozvoj daného oboru. Aktuální impakty vypočítává a zveřejňuje na základě citovanosti otištěných prací pro každý časopis americký Science Citation Institute.
Vzorec pro výpočet IF:    
             
                           Počet citací v hodnoceném roce na články časopisu publikované v předcházejících dvou letech
IF časopisu  =       ---------------------------------------------------------------------
                           Počet článků publikovaných v časopisu v předcházejících dvou letech

³ Seznam těchto recenzovaných, ale neimpaktovaných časopisů (ve kterých jsou publikovány kvalitní výsledky např. ve společenských vědách) bude součástí metodiky hodnocení.
________________________________________________________

3) Kvantifikace výsledků
V oblasti VaV bude na úrovni poskytovatelů dávám velký důraz na hodnocení podle kvantifikovatelných výsledků. Ty budou hlavními kritérii dokládání kvality pracoviště při hodnocení návrhů projektů, výzkumných záměrů a dalších aktivit a při vyhlašování programů poskytovateli.
Kvantifikovatelnost výsledků při hodnocení vyjádřit:
a) slovním vyjádřením konkrétních výsledků a konkrétních přínosů,
b) číselným ohodnocením,
c) výsledky ex-post hodnocení používat jako jedno z kritérií při hodnocení nových návrhů projektů, výzkumných záměrů a dalších aktivit výzkumu a vývoje,
d) výsledky hodnocení vnést do informačního systému státní podpory VaV.

4) Hodnotící komise
Základními úkoly hodnotící komise (které musí specifikovat poskytovatel) jsou:
- nepřipustit formální přístup hodnotitelů,
- nepřipustit redukci ex-post hodnocení na kontrolu uznaných nákladů nebo administrativních postupů,
- výsledky ex-post hodnocení používat jako jedno z kritérií při hodnocení nových návrhů projektů, výzkumných záměrů a dalších aktivit výzkumu a vývoje,
- výsledky hodnocení vnést do informačního systému státní podpory VaV.
Komise musí požadovat uvedení konkrétních přínosů řešení projektu (teoretické poznatky, možnost aplikace nebo zapojení do praxe), explicitní vyjádření těchto přínosů ve výroční nebo závěrečné zprávě (tato povinnost by měla být vyjádřena v metodických pokynech pro zpracování výročních a závěrečných zpráv). Oponenti se musí k přínosům práce vyjádřit obligatorně (pokud přínosy nejsou uvedeny, pak je považovat za nulové).
Přínosy v jednotlivých oblastech uvede řešitelský kolektiv. Ke kvantifikovanému hodnocení přínosu se ve svém posudku povinně vyjádří oponenti. Potvrzení ohodnocení známkou se bude používat pro ověření věrohodnosti oponentů.
Všichni účastníci oponentních řízení budou oceňováni z prostředků poskytovatele podle kvality a náročnosti oponentního řízení.

5) Uplatnění výsledků hodnocení
Výsledky a poznatky hodnocení musí sloužit jako zpětná vazba při budoucím rozhodování o výběru projektů a řešitelů. Perioda hodnocení by měla být svázána s cyklem financování a zcela pravidelná (např. s kalendářním rokem), přičemž výsledek musí mít možnost ovlivnit výši finančních prostředků na další období. Přidělování finančních prostředků by mělo zásadně probíhat na základě dílčích a předchozích výsledků.
Výsledky a závěry hodnocení RVV zohlední při přípravě návrhu výdajů státního rozpočtu na výzkum a vývoj, a to zejména v části týkající se střednědobého výhledu.
 

Rejstřík informací o výsledcích (RIV) – nástroj hodnocení

Základním nástrojem pro hodnocení výsledků ve vztahu k vynaloženým prostředkům je Rejstřík informací o výsledcích, který je jednou ze čtyř částí Informačního systému VaV. Povinnost předávat informace o výsledcích do Rejstříku informací o výsledcích vyplývá ze zákona o podpoře výzkumu a vývoje. Údaje zveřejňované v Rejstříku informací o výsledcích mají zásadní důležitost a váhu při dalším rozhodování o přidělování prostředků ze státního rozpočtu a při zvažování o pořadí ve veřejných soutěžích o veřejnou podporu VaV či osloveních na řešení projektů VaV.
Poskytovatelé jsou povinni v souladu s požadavky zákona o podpoře výzkumu a vývoje do rejstříku předávat ověřené a úplné informace.

Navržené změny Rejstříku informací o výsledcích:
Rejstřík výsledků bude obsahovat pouze výsledky, které zhodnotil odborný poradní orgán poskytovatele a poskytovatel schválil jako výsledek související s předmětným projektem VaV nebo výzkumným záměrem.
Navrhuje se zjednodušit seznam typů výsledků na:
a) články v impaktovaných a ve vybraných recenzovaných3 vědeckých časopisech; odborné knihy či články v odborných knihách nebo recenzovaných sbornících,
b) patenty,
c) aplikované výstupy,
d) ostatní výstupy za podmínky, že budou předem stanoveny v návrhu programu schvalovaném.
Závěry z hodnocení výsledků (ve vztahu k vynaloženým prostředkům) budou bez výjimek promítnuty do přípravy návrhu výdajů státního rozpočtu na výzkum a vývoj, který RVV zpracovává pro vládu.
Doplňující informací je zejména údaj o tom, zda poskytovatelé vytvářejí podmínky pro úspěšné řešení grantů, projektů VaV, veřejných zakázek a výzkumných záměrů podle údajů Informačního systému VaV.

Důsledky hodnocení výsledků v Rejstříku informací o výsledcích:
Údaje v Rejstříku informací o výsledcích mají zásadní důležitost
- pro celkové hodnocení VaV v ČR (případně EU),
- jako zdroj informací o efektivitě VaV, činnosti řešitelů, institucí a resortů,
- jako informace pro hodnoticí komise o tom, zda daný problém již nebyl vyřešen.
Na základě výsledků a závěrů hodnocení RVV žádá poskytovatele o odstranění nedostatků a při jejich opakování promítá potřebná opatření do návrhu výdajů státního rozpočtu na výzkum a vývoj, a to zejména v části týkající se střednědobého výhledu.
Výsledek hodnocení údajů shromážděných v Rejstříku informací o výsledcích se využívá pro zpracování analýzy stavu VaV v ČR a pro přípravu dalších národních politik VaV.

Návrh změn současného způsobu hodnocení výzkumu a vývoje a jeho výsledků

Změny a doplnění současného způsobu hodnocení výzkumu a vývoje podporovaného z veřejných prostředků a jeho výsledků lze shrnout do šesti bodů:

1. Získávání údajů pro hodnocení
Základním nástrojem k hodnocení výzkumu a vývoje podporovaného z veřejných prostředků a jeho výsledků je podle zákona informační systém výzkumu a vývoje. Jeho správcem je Rada pro výzkum a vývoj, údaje do něj poskytují jednotliví poskytovatelé (resorty). V zájmu kvality jednotlivých výsledků a efektivnosti poskytované veřejné podpory se navrhuje do informačního systému výzkumu a vývoje poskytovat a zařazovat pouze výsledky nejvyšší kvality. Podle povahy hodnoceného výzkumu to jsou:
a) články v impaktovaných a ve vybraných recenzovaných vědeckých časopisech; odborné knihy či články v odborných knihách nebo recenzovaných sbornících v cizím jazyce (a ve společenských vědách i v českém jazyce),
b) „patenty“ – výsledky chráněné průmyslově právní ochranou a další, podobně chráněné výsledky (tj. přihlášky vynálezů, udělené patenty, průmyslové vzory, uznané odrůdy zemědělských plodin, uznaná plemena hospodářských zvířat apod.), licence,
c) aplikované výstupy,
d) ostatní výstupy za podmínky, že budou předem stanoveny v návrhu programu schvalovaném vládou (umožňující uvést výsledek u specifických aktivit výzkumu a vývoje – např. výzkumnou zprávu jako výsledek veřejné zakázky u výzkumu pro potřeby státní správy apod.).

2. Hodnocení efektivnosti institucí ve výzkumu a vývoji
Jedním z hlavních problémů hodnocení výzkumu a vývoje a jeho výsledků je isolované hodnocení po jednotlivých poskytovatelích, které neumožňuje posoudit skutečnou kvalitu výsledků a efektivitu prostředků vynaložených na výzkum a vývoj z veřejných zdrojů (resp. ze státního rozpočtu) jako celku. Navrhuje se hodnotit souhrnně vstupy - poskytované veřejné prostředky na výzkum a vývoj bez ohledu na jejich formu (tj. bez ohledu na to, zda byly poskytnuty formou projektu, výzkumného záměru, veřejné zakázky atd.) a výstupy – všechny kvalitní výsledky uvedené ad. 1 (rovněž bez ohledu na to, zda byly vykázány jako výsledek projektu, výzkumného záměru, veřejné zakázky atd.). Výsledek hodnocení se navrhuje postupně promítat do návrhů na rozdělování výdajů na výzkum a vývoj.

3. Hodnocení programů výzkumu a vývoje
a) U nově navrhovaných programů důsledně dbát na dodržování zásad zákona i jeho prováděcích předpisů. Bude kontrolováno, aby každý nově vyhlašovaný program měl konkrétní a vyhodnotitelné cíle.
b) Zhodnotit programy na podporu výzkumu a vývoje ukončené v letech 2000 – 2003, zhodnotit jejich efektivitu (tj. srovnání nákladů a výsledků) a zhodnotit jejich výsledky podle předpisů platných v době jejich zahájení.
c) Po ukončení programu zhodnotit dosažení programových cílů, výsledků a efektivnosti vynaložených prostředků a předložit je vládě (návrhy programů schvaluje vláda, měla by schvalovat nebo minimálně být informována o úspěšnosti programu, zejména pokud na něj navazuje obdobný program).

4. Závěrečné hodnocení projektů, výzkumných záměrů a dalších aktivit výzkumu a vývoje
V této oblasti jsou podrobně legislativně upravena práva a povinnosti při hodnocení návrhů projektů a výzkumných záměrů, naproti tomu je jen velmi obecně upravena kontrola jejich výsledků, která musí probíhat na stejné úrovni a obdobným mechanismem, jako schvalování návrhů programů (tj. na úrovni jednotlivých poskytovatelů). Navrhuje se proto u jednotlivých poskytovatelů zavést systém závěrečného hodnocení na stejné úrovni, na jaké je hodnocení návrhů nových projektů, výzkumných záměrů atd. a jeho výsledky promítat do poskytování prostředků dané instituci v dalších letech. Při závěrečném hodnocení výzkumných záměrů bude zohledněn charakter prováděné výzkumné činnosti. V případě základního výzkumu budou tedy požadovány publikace v respektovaných časopisech, v případě výzkumu s charakterem, blížícím se aplikacím, pak odpovídající výstupy, tedy patenty, prodané licence, zavedené technologické procesy, léčebné postupy apod.
5. Dodržování obecných principů hodnocení
Společným požadavkem na všechny úrovně hodnocení je dodržování základních principů, zejména:
(1) Hodnocení je pravidelné, po určité době se opakuje (tj. nikoliv pouze vstupní hodnocení návrhu, ale i průběžné hodnocení a hodnocení závěrečné).
(2) Je předem vytyčen konkrétní cíl (programu, projektu, výzkumného záměru, instituce, …), který může být pro každý případ specifický a kterého má být v daném čase dosaženo a o kterém je možné rozhodnout, zda byl splněn nebo ne.
(3) Kritéria hodnocení jsou
a) předem známá a závazná,
b) jasně formulovaná (tak, aby si vzájemně neodporovala),
c) kvantifikovatelná, měřitelná, zhodnotitelná,
d) vztahující se k danému cíli.
(4) Zjištěné závěry hodnocení jsou závazné a rozhodovací sféra přijme potřebná opatření a prosadí jejich realizaci.
(5) Dosažení cílů prezentovaných před zahájením řešení výzkumného záměru, projektu, programu atd. se obecně nemusí překrývat s datem ukončení státní podpory. Z tohoto důvodu budou vyhlášené výsledky sledovány i po ukončení řešení.
Za tímto účelem se ČR zapojí do mezinárodních systémů hodnocení s větším využitím metody benchmarking („výkonnostní srovnání“ - metoda založená na porovnání interního výkonu s výkonem externím pro identifikaci předností a nedostatků).

6. Zjednodušení a sjednocení administrativy výzkumu a vývoje
Zjednodušení a sjednocení administrativy výzkumu a vývoje bude řešeno modulárním způsobem na třech úrovních:
a) základní úroveň společná pro všechny projekty, výzkumné záměry a další aktivity výzkumu a vývoje, kde jde o údaje informačního systému výzkumu a vývoje, u kterých bude prověřena jejich účelnost,
b) údaje společné pro daný typ výzkumu (např. pro základní výzkum, pro aplikovaný výzkum a vývoj atd.),
c) údaje specifické pro daný program, pro výzkumné záměry nebo pro další aktivity výzkumu a vývoje.

Plný text Usnesení vlády České republiky ze dne 23. června 2004 č. 644 hodnocení výzkumu a vývoje a jeho výsledků.

Seznam impaktovaných časopisů