Prístupy k hodnoteniu vedeckovýskumnej činnosti na medzinárodnej a národnej úrovni
Zo zahraničiaÚvod
Preverovanie a hodnotenie výkonov a vedomostí študentov je prirodzenou súčasťou výchovno-vzdelávacieho procesu. Primárne slúži ako kontrolný mechanizmus na zistenie, do akej miery si študenti učivo osvojili a rozumejú mu, ako motivácia dosahovať výborné výsledky, rozvíjať danosti a zlepšiť výkon zo strany študentov a na sebareflexiu pedagóga a jeho schopnosti podať študentom učivo primeraným a zrozumiteľným spôsobom. Cieľom je pripraviť osobnosť
s určitou úrovňou vedomostí a zručností, ktoré uplatní v praxi. V tomto procese nepochybne existujú určité odchýlky, no vyššie uvedené dôvody je možné považovať za všeobecne platné. Napriek tomu, že kvalita sa hodnotí kvantitatívnymi ukazovateľmi a hodnotenie pedagógom je subjektívne, zavádzajú sa štandardizačné postupy, ktoré hodnotenie objektivizujú.
Určitou paralelou k takémuto hodnoteniu je hodnotenie výkonov vysokých škôl, ktoré sa vo svojej podstate odvíja od hodnotenia výkonov jednotlivca, pedagóga a vedeckovýskumného pracovníka. Toto hodnotenie sa prostredníctvom organizačných jednotiek projektuje do výsledkov dosiahnutých inštitúciou ako celku. Okrem kvalitatívnych hodnotení, predovšetkým z ekonomických dôvodov, je hodnotenie vysokých škôl vsadené do širšieho rámca súvislostí a následkov a množina výstupných ukazovateľov (napr. publikácie a nepublikačné výstupy, počet doktorandov s úspešne a včas ukončeným štúdiom, dosah na verejnosť) je rozšírená o vstupné veličiny (napr. financovanie z externého prostredia, počet novoprijatých doktorandov), o ukazovateľ procesy (napr. organizácia a účasť na seminároch a konferenciách, vyzvaná prednáška, medzinárodný vedecký post), štruktúry (počet aktívnych pracovníkov vo výskume, počet doktorandov, spolupráca a partnerstvo vo výskume) a ukazovateľ výsledky vo forme odoziev (napr. počet udelených vyznamenaní a ocenení, uplatnenie doktorandov na trhu práce, prenos vedomostí a komercializácia duševného vlastníctva z výskumnej činnosti, prestíž u koncového používateľa (vypracovanie správ, expertíz, posudkov, externé zmluvy, konzultácie), tzv. indikátorov prvého poriadku, ako sú roztriedené v manuáli z Frascati [3].
Projekt U-Multirank
Toto členenie, spolu s ďalšími kritériami, sa stalo východiskom na vypracovanie metodík hodnotenia vysokých škôl/univerzít a vedeckovýskumných inštitúcií na medzinárodnej úrovni v rámci projektu Európskej únie s názvom U-Multirank [4, 5]. Dvojročný projekt s termínom ukončenia v júni 2011 bol zadaný Európskou komisiou v čase pôsobenia Jána Fígeľa na poste komisára pre vzdelanie, odbornú prípravu, kultúru a mládež. Jeho nosnou myšlienkou bolo „umožniť zainteresovaným vybrať si na základe dostatku informácií; pomôcť inštitúciám zaradiť sa a zlepšiť kvalitu ich činnosti
a výkonov”. Inými slovami, cieľom projektu je pomôcť študentom urobiť informované rozhodnutie, čo sa týka ich štúdia, umožniť inštitúciám, aby identifikovali a rozvíjali svoje silné stránky a podporiť tvorcov politiky v ich strategických rozhodnutiach týkajúcich sa reformy systémov vysokoškolského vzdelávania.
Pracovný kolektív projektu tvorili riešitelia z renomovaných inštitúcií, najmä zo SRN a Holanska, združených do Konzorcia pre hodnotenie vysokoškolského vzdelávania a výskumných činností CHERPA-Network (CHE – Centre for Higher Education Development; CHERPA – Centre for Higher Education Policy Studies, Katholieke Universiteit Leuven, OST
v spolupráci s EANI/East Asia Network Initiative, EFMD/European Foundation for Management Development a skupinou expertov z univerzít (v Melbourne, Shanghai Jiao Tong), národných (Carnegie nadácia) a medzinárodných inštitúcií (OECD, Svetová banka, IREG). Projekt prebiehal v dvoch fázach. Náplňou prvej bolo navrhnutie nového hodnotiaceho nástroja; cieľom druhej fázy bol overenie použiteľnosti navrhnutej hodnotiacej metodiky.
V procese vývoja metodiky v prvej fáze projektu boli na základe v súčasnosti aplikovaných prístupov a metodík (napríklad aj Carnegie klasifikácia používaná v USA [6], o ktorej bude zmienka ďalej v texte), štúdií a publikácií o hodnotení činností akademických inštitúcií navrhnuté parametre hodnotenia, identifikované a definované údaje a dostupné pramene potrebných informácií a boli vypracované postupy a nástroje na zber tých údajov, ktoré nie sú verejne dostupné. Boli vypracované postupy a spôsoby komunikácie so zúčastnenými stranami (dotazníky − obsah, často kladené otázky, spätná väzba, elektronicky, poštou). Počas tohto obdobia prebiehala intenzívna komunikácia a diskusia o účelnosti
a opodstatnenosti navrhnutých kritérií aj s predstaviteľmi priemyselnej sféry ako odberateľa výsledkov výskumu a poskytovateľa financií na výskum; niektoré kritériá boli z návrhu vylúčené, iné doň boli začlenené. Intenzívna práca prebiehala na vypracovaní metód na triedenie inštitúcií do skupín, ktoré má nahradiť celosvetovo zaužívané jednorozmerné triedenie vo forme „ligových tabuliek”. Tento proces bol ukončený špecifikovaním piatich parametrov hodnotenia s obsiahlym zoznamom indikátorov, ktoré sa mali testovať v pilotnom projekte v druhej fáze projektu:
1. vyučovanie – slúži potenciálnym študentom na získanie informácie založenej na hodnotení skúseností s vyučovaním a možnostiach na štúdium samotnými študentmi; indikátory sú veľmi užitočné a realizovateľné
2. výskum
3. prenos vedomostí – novozavedený parameter s novými indikátormi (spoločné publikácie s priemyslom, výskum financovaný priemyslom, no problém s podnikmi typu spin off/licenciami)
4. medzinárodná orientácia (záver – hodnotenie na základe medzinárodnej orientácie programov je vhodnejšie ako na základe počtu zahraničných študentov)
5. regionálne väzby – novozavedený parameter (záver − dôležitý v mnohých inštitúciách, novým indikátorom sú spoločné regionálne publikácie; v U-Multirank-u je najproblematickejšia; nevyhnutný je ďalší rozvoj tohto parametra)
Druhá fáza projektu spočívala v zbere, spracovaní údajov a overení vyvinutej hodnotiacej metodiky na úrovni inštitucionálnej a na úrovni vedných odborov (ekonomika, strojné inžinierstvo a elektroinžinierstvo). Plánovaný počet 150 inštitúcií poskytujúcich vysokoškolské vzdelanie, ktoré mali byť zapojené do testovacej fázy, bol prekročený o 9 s lokalizáciou v 57 krajinách. 94 inštitúcií bolo z členských krajín EÚ, 15 inštitúcií z Európy mimo EÚ a 50 z krajín mimo Európy (Austrália, Afrika, Čína, Japonsko, USA a iné). Za Slovenskú republiku boli do účasti na testovaní navrhnuté dve inštitúcie, schválená bola účasť na pilotnej štúdii jednej, avšak táto inštitúcia dotazníkové údaje nezaslala.
Informačné zdroje projektu U-Multirank – dotazníkový prieskum
Hlavným nástrojom na zber údajov z inštitúcií boli štyri online dotazníky, tri pre inštitúcie a jeden pre študentov:
1. Dotazník na vytvorenie U-mapy
U-mapovanie slúžilo na identifikovanie a klasifikáciu porovnateľných inštitúcií, na opis horizontálnej diverzity inštitúcií, z ktorých boli zostavené profily a typy inštitúcií. Obsahoval otázky:
všeobecné: názov; sídlo; charakter inštitúcie: verejná, súkromná; doba od založenia;
o študentoch: počet domácich a medzinárodných; spôsoby vyučovania a vek študentov;
o doktorandoch: stupeň štúdia; zameranie; pracujúci v regióne;
o zamestnancoch: s plným úväzkom; počet zamestnancov; zahraniční;
o príjmoch: celkom; príjmy podľa typu činnosti; podľa zdroja;
o výdavkoch: celkové; na jednotlivé organizačné jednotky;
o výskume a výmene znalostí: publikácie; patenty; koncerty a predstavenia; podniky start-up)
(referenčný šk. r. 2008/2009)
U-mapovaním (voľbou z ponuky kritérií pre jednotlivé parametre) sa zo všetkých inštitúcií vyberie súbor inštitúcií, ktoré sú svojím profilovým zameraním, t. j. činnosťami porovnateľné (aplikácia pravidla porovnávať porovnateľné). Príklad je uvedený v tabuľke:
Parameter
vyučovanie inštitúcia orientovaná na poskytovanie všeobecného vzdelania
výskum nevýznamná orientácia na výskum
prenos vedomostí prevláda vysokoškolské vzdelanie*
medzinárodná orientácia nepatrná
regionálne väzby s regionálnou pôsobnosťou/fixovaná na región (napr. pri nábore študentov)
Po identifikovaní týchto inštitúcií je možné aplikovať nástroj U-Multirank na kvalitatívne viacparametrové porovnanie jednotlivých inštitúcií zo súboru inštitúcií identifikovaných U-mapovaním.
2. Inštitucionálny dotazník
Niektoré informácie v ňom obsiahnuté boli totožné ako v dotazníku na U-mapovanie, tie sa automaticky preniesli, preto bolo odporúčané vyplniť dotazník na U-mapovanie ako prvý (referenčný šk. rok 2008/2009):
všeobecné: názov; sídlo; charakter: verejná/súkromná; doba od založenia; univerzita/nemocnica;
o študentoch: počty prihlásených; študijné programy: bakalárske/inžinierske/doktorské; postgraduálne;
o absolventoch: počty úspešných; zamestnanosť;
o zamestnancoch: s plným úväzkom; počet zamestnancov; zahraniční; počty zamestnancov na pracovisku technologického transferu (TT);
o príjmoch: celkom; príjmy z vyučovania; z výskumu; z iných činností;
o výdavkoch: celkové; na jednotlivé organizačné jednotky; pokrytie;
o výskume a výmene znalostí: publikácie; patenty; koncerty a predstavenia; podniky start-up
3. Dotazník založený na študijnom odbore
Pozostával z dvoch častí.
Prvá časť obsahovala otázky zamerané na:
prehľad: názov a jednotka zodpovedná za študijný odbor; kontaktná osoba;
zamestnanci a doktorandi: akademické tituly; profesori; zahraniční profesori; profesori s ponukou prednášok v zahraničí; profesori so skúsenosťami s prácou v zahraničí; počty doktorandov; počet postdoktorandov;-
financovanie: externé zdroje; licenčné dohody/príjmy z licencií; spoločné vedeckovýskumné projektys miestnymi podnikmi;
o študentoch: počty celkom; počet žien/medzinárodné tituly; výmena študentov; absolvované stáže v zahraničí; absolventské práce v kooperácii a miestnymi podnikmi;
regionálne väzby: kontinuálne vzdelávacie/profesijné vzdelávacie programy; letné školy/kurzy pre stredoškolákov; opis: akreditácia pracoviska; profil z hľadiska vyučovania a z hľadiska výskumu.
Druhá časť obsahovala otázky:
základné o študijných programoch (napr. dĺžka štúdia potrebná na získanie titulu); interdisciplinárne charakteristiky; plný/čiastočný úväzok;
študentov v študijnom programe; počty miest a výška poplatku; pracovné činnosti zahrnuté do študijného programu; medzinárodná orientácia; spoločné študijné programy;
kredity: získané za výsledky dosiahnuté v zahraničí; počet zahraničných študentov na výmennom pobyte; predmety v cudzom jazyku; osobitosti; počet absolventov a informácie o ich zamestnanosti.
4. Študentský prieskum
Potenciálna hrozba ovplyvnenia študentov zo strany inštitúcií a prípadných negatívnych konzekvencií pre študentov zapojených do dotazníkového prieskumu bola minimalizovaná zasielaním údajov emailami, poštou; prístupom k dotazníku cez individuálne heslo; boli vyvinuté kontrolné mechanizmy na detegovanie interferencií. Otázky sa týkali najmä vyučovania a podmienok na učenie (prístup zo strany pedagógov, priestory, knižnica, počítače, prístup k internetu) a dostupnosť, kvalita zariadení inštitúcie (laboratóriá a pod.).
Informačné zdroje projektu U-Multirank– medzinárodné databázy
Ďalším zdrojom informácií boli medzinárodné bibliometrické databázy. Keďže v databáze Web of Science (WoS) neboli dostatočne zastúpené konferenčné zborníky, regionálne publikácie v inom ako anglickom jazyku, knihy, publikácie aplikačného charakteru, spoločenských vied a najmä humanitných vedných odborov, preto ako alternatívny zdroj bibliometrických informácií slúžila databáza Scopus. Údaje z databáz boli prečisťované, boli harmonizované rôzne zápisy názvov inštitúcií (na úrovni univerzity, nie fakulty) a bola kontrolovaná správnosť zápisov. Do hodnotenia boli zahrnuté nasledujúce bibliometrické indikátory:
1. celkový počet publikácií
2. spoločné publikácie s priemyslom
3. spoločné medzinárodné publikácie
4. počty citácií normalizované podľa vednej oblasti
5. podiel na publikáciách s celosvetovo najvyššou citovanosťou
6. spoločné regionálne publikácie
Údaje o patentoch boli získané z patentovej databázy PATSTAT (databáza Európskeho patentového úradu/EPO) technikou pokročilej analýzy patentových údajov. Databáza obsahuje 70 miliónov záznamov, 63 miliónov patentových prihlášok a 7 miliónov patentov z viac než 80 krajín).
Ďalšími údajmi boli národné údaje dostupné v štatistických úradoch, ministerstvách, hlavne typy indikátorov vstupov získané v rámci EÚ projektu EUMIDA, do ktorého bolo zahrnutých 27 krajín EÚ, Nórsko a Švajčiarsko.
Pri zhodnotení zberu sa konštatovalo, že medzinárodné hodnotenie sa musí spoliehať na údaje dodané samotnými inštitúciami, pretože nie je dostatok relevantných databáz (okrem bibliometrických a patentových). Spätná väzba s univerzitami, týkajúca sa nimi dodaných údajov o inštitúcii, jej fakultách a programoch, napomohla zvýšiť konzistenciu a kvalitu údajov. Duplicitný/konfliktný zber údajov na národnej úrovni (napr. študentské prieskumy) nastolil problematiku koordinácie národných a medzinárodných hodnotení.
Výstupom spracovania údajov je súbor inštitúcií, ktoré sú porovnateľné; v druhom kroku sú týmto inštitúciám priradené skóre (znázornené farebnými bodmi) pre indikátory v jednotlivých parametroch. Zelená farba znamená, že skóre je vysoké, teda inštitúcia v danom parametri patrí do špičkovej skupiny. Červená farba znamená nízke skóre, teda inštitúcia má z hľadiska výkonu značné rezervy na zlepšenie. Žltá farba bodu indikuje, že výkon inštitúcie je uprostred. Názorné príklady sú ilustrované na obrázkoch 1 až 3.
obr. 1 Náhľad na všetky parametre s troma indikátormi pre každý parameter (poradie podľa indikátora vedecké publikácie – výstupy
obr. 2 Náhľad na parameter Výskum so všetkými indikátormi
obr. 3 Lúčovité zobrazenie profilu výkon inštitúcie
Carnegie klasifikácia na hodnotenie inštitúcií poskytujúcich vysokoškolské vzdelávanie
Jedným z metodickým východísk pre projekt U-Multirank bola Carnegie klasifikácia [6], ktorá je jednou z viacerých metód (ďalej v texte) aplikovaných na hodnotenie inštitúcií poskytujúcich vysokoškolské vzdelanie v USA. Je rámcom, ktorý zachytáva rôznorodosť inštitúcií, napr. univerzity poskytujúce doktorandské štúdium, univerzity poskytujúce magisterské štúdium, špecializované inštitúcie: medicínske centrá a samostatné právnické školy, inštitúcie poskytujúce bakalárske štúdium, etnická vysoká škola pre Indiánov, pôvodné americké obyvateľstvo USA, a podobne. Pôvodne bola vyvinutá Carnegie komisiou pre vysokoškolské vzdelávanie a slúžila na podporu jej výskumných úloh a analýzu politík. Od čias svojho prvého publikovania v roku 1973 bola niekoľkokrát aktualizovaná, naposledy v roku 2010 tak, aby odrážala zmeny, ku ktorým dochádza vo vysokoškolských inštitúciách. Používa sa pri štúdiu vysokoškolského vzdelávania ako metóda na zisťovanie a kontrolu rozdielov medzi inštitúciami a na navrhovanie výskumných úloh tak, aby bolo zabezpečené adekvátne zastúpenie sledovanej vzorky inštitúcií, študentov alebo fakúlt [7].
Pre univerzity poskytujúce doktorandské štúdium je kritériom pre zaradenie do kategórie univerzita minimálny počet 20 doktorátov vo výskume za rok. Inštitúcie sú triedené z hľadiska trojúrovňovej klasifikácie na:
1. doktorandské/výskumné univerzity
2. výskumné univerzity (s intenzívnym výskumom)
3. výskumné univerzity (s veľmi intenzívnym výskumom)
s hodnotiacimi kritériami:
1. ročné výdavky na vedu a rozvoj (NSF)
2. počet zamestnancov s titulom PhD. (NSF)
3. počet PhD. titulov udelených za rok (IPEDS)
Zohľadňované sú súčasne agregované údaje, ktoré sú mierou celkových výstupov (napr. celkové výdavky na výskum) a normalizované údaje (t. j. agregované údaje delené počtom zamestnancov fakulty), ktoré sú mierou efektívnosti. Agregované a normalizované údaje majú rovnakú váhu; pri dosiahnutí vysokého skóre oboch typoch údajov sú univerzity klasifikované ako univerzity s veľmi intenzívnym výskumom; pri dosiahnutí vysokého skóre v jednom z typov údajov (agregovaných alebo normalizovaných) univerzity sú klasifikované ako univerzity s intenzívnym výskumom. Ostatné, ak spĺňajú klasifikačné kritérium, sú klasifikované ako doktorandská/výskumná univerzita.
Druhá metóda na hodnotenie činnosti univerzít v USA je využívaná Centrom na meranie výkonu univerzít CMUP podľa deviatich (agregovaných) kritérií meraných ročne:
1. celkové výdavky na výskum (NSF/)
2. výdavky na federálny výskum (NSF)
3. príjmy z národných grantov* (NACUBO/)
4. ročný príjem univerzity* (CAE-VSE)
5. členstvo v národnej akadémii (NAS, NAE, IOM)
6. ocenenia (podľa špeciálneho zoznamu)
7. získané tituly PhD.** (IPEDS)
8. zamestnanci na postdoktorandských postoch** (NSF)
9. medián skóre SAT* (alebo ACT)
Klasifikácia prebieha najprv na základe počtu kritérií s ohodnotením 1 − 25, potom na základe počtu tých kritérií, ktoré dosiahli ohodnotenie 26 − 50. Najvyššiu klasifikáciu dosahujú univerzity s ohodnotením 1 − 25 vo všetkých 9 kritériách. V roku 2010 medzi takýmito bola univerzita Columbia, Stanford, Pennsylvania a MIT; Harvardská univerzita dosiahla ohodnotenie 1 −25 pre osem kritérií a ohodnotenie 26 − 50 pre jedno kritérium. S dosiahnutým ohodnotením 1 − 25 v siedmich kritériách a 26 − 50 v jednom kritériu najvyššie boli klasifikované verejné univerzity Berkeley, UCLA, Michigan, Washington a Wisconsin-Madison. Zvýhodňovanie súkromných univerzít voči verejným a naopak je kompenzované ďalším triedením súkromných a verejných univerzít. Pri aplikovaní takýchto eliminačných mechanizmov v roku 2010 medzi výsledkami dosahovanými verejnými a súkromnými univerzitami nebol zistený významný rozdiel: ohodnotenie 1 − 25 vo všetkých 9 kritériách dosiahlo 7 verejných univerzít a 9 súkromných univerzít.
Treťou metódou je hodnotenie vykonávané Asociáciou amerických univerzít (AAU). AAU je asociáciou 61 severoamerických výskumných univerzít (verejných i súkromných) a členstvo v asociácii je na pozvanie. Voľba za člena asociácie je založená na splnení dvoch sád indikátorov.
Indikátormi prvej fázy sú:
1. Súťaživé financovanie z federálnych zdrojov
2. Členstvo v národných akadémiách
3. Hodnotenie doktorandských programov Národnou radou pre výskum (National Research Council)
4. Ocenenia a vyznamenania fakúlt (podľa zoznamu)
5. Citácia publikácií pracovníkov fakulty
Indikátormi druhej fázy sú:
1. Financovanie štátneho, USDA, priemyselného výskumu (nepodlieha recenzovaniu)
2. PhD. vzdelanie (počet a distribúcia udelených titulov PhD.)
3. Počet pracovníkov na postdoktorandskom poste
4. Vzdelávanie vysokoškolákov
Ako zdroje údajov sú využívané komerčné databázy Web of Knowledge a Scopus, údaje z databáz hodnotených inštitúcií a databáz Academic Analytics. Zohľadnené sú agregované a normalizované údaje. Hodnotenie univerzity pred pozvaním za člena je dlhodobé. Prestížnosť členstva v asociácii dokumentuje skutočnosť, že od roku 2000 boli do asociácie AAU pozvané iba tri univerzity.
Hodnotenie vysokoškolských inštitúcií posudzovaním profesionálne rovnocennými partnermi (Peer Review)
Dôležitosť prvku hodnotenia profesionálne rovnocennými partnermi/posudzovaním expertmi (Peer Review) rezonovala v prednáške člena [8] audítorského kolektívu, ktorý sa zúčastnil na Medzinárodnom audite výskumu, vývoja a inovácií v ČR a implementácia výsledkov do strategických dokumentov. Audit sa konal ako súčasť tzv. individuálneho národného projektu pre oblasť terciárneho vzdelávania, výskumu a vývoja v rámci Operačného programu Vzdelávanie pre konkurencieschopnosť realizovaného Ministerstvom školstva, mládeže a telovýchovy ČR od apríla 2009 do októbra 2011.
Ako audítor vystupovalo konzorciom šiestich renomovaných zahraničných inštitúcií. Hlavnú zodpovednosť za zákazku niesla organizácia Technopolis Group pôsobiaca v deviatich európskych krajinách. Jej partnermi boli dve významné európske inštitúcie zamerané na štúdium systémov výskumu a inovácií − Manchester Institute of Innovation and Research (GB) a inštitút Joanneum Research (A). Ďalšími partnermi boli Centre for Higher Education Policy Studies (CHEPS) univerzity v Twente (NL), ktorá sa orientuje na oblasť vysokoškolskej vyúčby, Centre for Science and Technology Studies (CWTS) univerzity v Leidene (NL) ako európsky špecialista na bibliometriu (obe sa podieľali na projekte U-Multirank) a spoločnosť Peritus (SK) so skúsenosťami v oblasti práv duševného vlastníctva.
Bohaté skúsenosti s hodnotením rozličných systémov vysokého školstva v rôznych krajinách (Fínsko, Nórsko, Austrália, Čile) boli formulované v zásadných princípoch takto: metódy na hodnotenie by mali byť založené na posudzovaní na základe dostatku relevantných informácií, nie na štatistických údajoch; mali by zohľadňovať minulé, ale aj perspektívne činnosti a výkony; nevyhnutná je existencia platformy, ktorá vyšle signál a pomôže systému vedy a výskumu pochopiť a podporiť národné potreby a priority; nástroje, ktoré sú k dispozícii, je potrebné využívať veľmi citlivo a nastaviť ich tak, aby citlivo eliminovali negatívne javy; je nutné mať na zreteli, že aj navonok nevýznamné efekty v súkromnej alebo verejnej sfére môžu mať dôležitý dosah.
Medzi všeobecné odporúčania pre hodnotenie patrí zavedenie a používanie hodnotenia, ktoré je menej mechanické, ale viac orientované na politiky; využívanie takých hodnotiacich metodológií, ktoré sa prednostne zameriavajú na výsledky vo forme dopadov a odoziev (napr. citácie, uplatnenie doktorandov na trhu práce, prenos vedomostí a komercializácia duševného vlastníctva z výskumnej činnosti), ale nie na výstupy (počty publikácií).
Pri zostavovaní modelu hodnotenia vedy a výskumu treba rešpektovať osobitosti danej krajiny. Východiskom by mal byť inteligentný model posudzovania expertmi a mal by byť dosiahnutý konsenzuálne.
Posudzovanie profesionálne rovnocennými partnermi hrá významnú úlohu v systéme hodnotenia vysokých škôl vo Veľkej Británii realizovanom v RAE (Research Assessment Exercise) [9]. Tento model založený na uplatňovaní indikátorov tretieho poriadku bol zavedený v roku 1986 v Anglicku. Systémy hodnotenia podobné RAE boli zavedené aj v Číne, Hongkongu a na Novom Zélande. Vo Veľkej Británii sa na RAE zúčastňuje 67 expertných komisií, ktorých členovia posudzujú a triedia kvalitu výskumu na všetkých katedrách/pracoviskách vo všetkých vedných disciplínach a oblastiach. Naposledy prebehlo RAE v roku 2008. V súčasnosti sa vyvíja nový systém REF (Research Excellence Framework) [10]. Nový REF systém s predpokladaným zavedením od roku 2013 s periodicitou päť rokov bude pokračovať v hodnotení kvality výstupov výskumu primárne skupinami expertov s využitím aj kvantitatívnych indikátorov, a kde to bude možné, aj počtu citácií [11]. Širší ohlas výskumu bude hodnotený vyvinutou metódou, ktorá bola testovaná pri pilotnom posudzovaní, a tretím kritériom hodnotenia bude vitalita výskumného prostredia. Týmto prístupom sa britský model zaradí medzi informovaný expertný prieskum s komponentom založenom na indikátore ohlasu.
Záver
Hodnotenie vedeckovýskumných pracovísk má progresívny trend so zvyšujúcou sa váhou a akceptáciou zainteresovaných a verejnosti. Podmienkou však je, aby všetky zainteresované strany mali dostatok informácií a aby boli ciele hodnotenia zrozumiteľne definované a vysvetľované.
Ukazuje sa, že optimálny model hodnotenia je komplexný, vytvorený kombináciou kvantitatívnych, kvalitatívnych ukazovateľov a jeho súčasťou je aj expertné posudzovanie.
Publikačná a citačná činnosť je významnou zložkou hodnotenia s relatívne najdostupnejšími údajmi a prepracovanými indikátormi. Trendy v hodnotení sa premietli do nedávneho vzniku analytických nástrojov odvodených z bibliometrických údajov (InCites a SciVal), ktoré uľahčujú scientometrické analýzy; údaje však musia byť použité so znalosťou problematiky. Údaje v publikačných a citačných databázach sú zaťažené chybovosťou a neúplnosťou zastúpenia vedných odborov a typov publikácií; nedostatky sú postupne odstraňované. V súvise so zvýšením kvality údajov v databázach by bolo vhodné definovať a implementovať požiadavky na unifikáciu bibliografických údajov.
Dôležitou súčasťou hlavne technických a prírodovedných odborov sú patentové databázy; postupne sa zohľadňujú kritériá súvisiace s transferom vedomostí a technologickým transferom.
Perspektívne je možné očakávať, že projekt U-Multirank bude zohrávať čoraz významnejšiu úlohu. Pilotná štúdia potvrdila, že U-Multirank ako nástroj je realizovateľný nielen v hľadiska vypracovanej metodológie, ale aj z hľadiska praktickej implementácie. Po vytvorení inštitucionalizovanej podoby U-Multirank, ktorá je v ďalšej fáze projektu plánovaná na dvojročné obdobie, bude implementácia nástroja prebiehať veľmi dynamicky. Vyvinuté a finalizované nástroje budú musieť byť pre užívateľov pohodlné. Po uplynutí ďalších dvoch rokov by mal systém zahŕňať asi 700 európskych inštitúcií poskytujúcich vysokoškolské vzdelanie tak, aby v ňom boli obsiahnuté všetky inštitucionálne profily a bolo dosiahnuté široké medzinárodné zastúpenie. Triedenie by si malo zachovať globálny charakter a nemalo by slúžiť výlučne len pre záujmy Európy.
V súvisiacom dokumente EÚ [12] sa konštatuje, že „dostupné informácie o výsledkoch inštitúcií vysokoškolského vzdelávania sa sústreďujú najmä na univerzity s intenzívnym výskumom, a teda sa vzťahujú len na veľmi malú časť európskych inštitúcií pre vysokoškolské vzdelávanie: je nevyhnutné, aby sa vypracoval širší rozsah analýzy a informácií, ktorý sa bude vzťahovať na všetky aspekty činnosti – s cieľom pomôcť študentom urobiť informované rozhodnutie, čo sa týka ich štúdia, umožniť inštitúciám, aby identifikovali a rozvíjali svoje silné stránky a podporiť tvorcov politiky v ich strategických rozhodnutiach týkajúcich sa reformy systémov vysokoškolského vzdelávania. Z údajov vyplýva, že
viacdimenzionálny hodnotiaci a informačný nástroj je reálny a má širokú podporu zainteresovaných strán v oblasti vzdelávania.” Jednou z úloh, ktoré si stanovila EK, je: „… Európska komisia zavedie U-Multirank: nový hodnotiaci
a informačný nástroj založený na výsledkoch, prostredníctvom ktorého bude možné vytvoriť si obraz o inštitúciách vysokoškolského vzdelávania s cieľom radikálne zlepšiť transparentnosť sektora vysokoškolského vzdelávania, pričom prvé výsledky by mali byť k dispozícii v roku 2013. Tento nástroj pôjde nad rámec súčasných ukazovateľov hodnotenia a výsledkov zameraných na výskum a umožní používateľom vytvoriť si individualizované viacdimenzionálne hodnotenie škôl. Tento nestranne prevádzkovaný nástroj pomôže všetkým zainteresovaným stranám v oblasti vzdelávania pri výbere a prijímaní rozhodnutí…”
Je pravdepodobné, že účasť univerzít na implementácii a prevádzke nástroja U-Multirank sa stane podmienkou pre uchádzanie sa vysokých škôl o finančné príspevky na výskum zo zdrojov EÚ súťaživou formou. Tiež je možné očakávať, že z hľadiska dlhšej perspektívy môže mať U-Multirank ambíciu prejsť z medzinárodného hodnotenia inštitúcií ako celku na hodnotenie národné, hodnotenie jednotlivých súčastí (fakúlt), prípadne na nižšie organizačné jednotky univerzít.
Prednášky a informácie zaradené do prezentácií, ktoré odzneli na uvedených konferenciách, sú v mnohom prínosné
a podnetné pri riešení národného projektu Národná infraštruktúra pre podporu transferu technológií na Slovensku − NITT SK, ktorého riešiteľom je CVTI SR (http://nitt.cvtisr.sk/). Predovšetkým úlohy v aktivite 1.1, ktorá je zameraná na vypracovanie národnej metodiky na hodnotenie kvality vedeckých organizácií v oblasti výskumu, vývoja a transferu technológií a pri ohodnocovaní potenciálu týchto pracovísk pri rozhodovaní o poskytnutí podporných služieb v procese transferu technológií. Inšpiráciou sú napríklad metodické prístupy a efektívnejšie formy komunikácie s hodnoteným subjektom (napr. predvyplnenie údajov v dotazníkoch), nové prvky hodnotenia, ako napr. spoločné publikácie s priemyselnou sférou a financovanie priemyselnou sférou, existencia pracovísk pre technologický transfer a podobne.
Zoznam vybraných skratiek:
NSF − National Science Foundation
NACUBO − National Association of College and University Business Officers
CAE-VSE − Council for Aid to Education − Voluntary Support for Education
NAS − National Academy of Sciences
NAE − National Academy of Engineering
IOM − Institute of Medicine
IPEDS − Integrated Postsecondary Education Data System
SAT − Scholastic Assessment Test
ACT − American College Testing
Zoznam bibliografických odkazov:
[1] National Technical Library: KRE 11 [citované 25. novembra 2011]. Dostupné na: http://www.techlib.cz/cs/1495-konference-kre-11/
[2] IREG Observatory on Academic Ranking and Excellence: IREG Forum on National Rankings [citované 27. novembra 2011].
Dostupné na: http://www.iregobservatory.org/index.php?option=com_content&task=view&id=129&Itemid=127
[3] OECD DSTI/EAS/STP/NESTI (2006) 19/final revised field of science and technology (fos) classification in the Frascati manual [online]. OECD unclassified publication, 2007 [cit. 28. decembra 2011].
Dostupné na: http://www.oecd.org/dataoecd/36/44/38235147.pdf
[4] FEDERKEIL, G. What Can National Ranking Learn from the U-Multirank Project. 2011. [online]. Prezentované na konferencii IREG Forum National Rakings on the Rise, Bratislava,
9. – 10. 10. 2011. [cit. 24. novembra 2011]. Dostupné na: http://www.ireg-observatory.org/prezentacje/prezentacje_bratislava_2011/Bratislava_1_federkeil.pdf
[5] Design and Testing the Feasibility of a Multidimensional Global University Ranking. Final report [online]. 2011. Prezentované na konferencii IREG, Bratislava, 9. – 10. 10. 2011. [cit. 24. novembra 2011].
Dostupné na: http://ec.europa.eu/education/higher-education/doc/multirank_en.pdf
[6] STAROS, J. V. Evaluating Research at Levels from National to Institutional. 2011. [online]. Prezentované na konferencii KRE 11, NTK, Praha, 9.-10.9.2011. [cit. 24. novembra 2011].
Dostupné na: http://www.techlib.cz/public/userfiles/File/james_staros_evaluating_research_at_levels_from_national_to_institutional.pdf
[7] Carnegie Foundation for the Advancement of Teaching: The Carnegie Classification of Institutions of Higher Education™. 2012. [cit. 2. januára 2012].
Dostupné na: http://classifications.carnegiefoundation.org/
[8] ARNOLD, E. Measuring Health in Research and Innovation Systems: The Czech Audit in International Context. 2011. [online]. Prezentované na konferencii KRE 11, NTK, Praha, 9.-10.9.2011.
[cit. 2. januára 2012]. Dostupné na: http://www.techlib.cz/public/userfiles/File/erik_arnold_054_technical_library_110908.pdf
[9] HANSEN, H. F. Performance indicators used in performance-based research funding systems. In Performance-based funding for public research in tertiary education institutions:
OECD workshop proceedings [online]. Paris : OECD Publishing, 2010 [citované 29. decembra 2011]. Chapter 2. P. 53 – 84.
Dostupné na: http://dx.doi.org/10.1787/9789264094611-en. ISBN 978-92-640-9461-1
[10] Research Excellence Framework. Second consultation on the assessment and funding of research. 2009. [online]. Hefce, September 2009/38 [cit. 2. januára 2012].
Dostupné na: http://www.hefce.ac.uk/pubs/hefce/2009/09_38/09_38.pdf
[11] Analysis of data from the pilot exercise to develop bibliometric indicators for the REF. The effect of using normalised citation scores for particular staff characteristics. 2011. [online].
Hefce, February 2011/03. [cit. 2. januára 2012]. Dostupné na: http://www.hefce.ac.uk/pubs/hefce/2011/11_03/11_03.pdf
[12] COM (2011) 567 v konečnom znení Oznámenie Komisie Európskemu Parlamentu, Rade, Európskemu hospodárskemu a sociálnemu výboru a výboru regiónov – Podpora rastu a zamestnanosti
– program modernizácie európskych systémov vysokoškolského vzdelávania. Úradný vestník Európskej únie [online]. November 2011, zv. 54, C 335/19 [cit. 4. januára 2012].
ISSN 1977-1037. Dostupné na: http://ec.europa.eu/prelex/detail_dossier_real.cfm?CL=sk&DosId=200834
