|
Otázka kvality vedy je mimoriadne zložitá. Zjednodušene možno
povedať, že veda samotná zatiaľ nevytvorila uspokojivý model na svoje hodnotenie.
Posúdiť výsledky vedeckej inštitúcie či výskumného kolektívu jednoznačne
prislúcha skupine najvýznamnejších odborníkov z daného vedného odboru. Nie vždy je
však takýto postup možný a skupiny špecialistov často nahrádzajú všeobecnejšie
zamerané výbory, pracovné skupiny a pod. Objektívne posúdenie kvality vedeckej
produkcie je pritom zásadným problémom, pretože výsledky hodnotenia sa stali
dôležitým ukazovateľom pre prideľovanie finančných zdrojov vedeckovýskumným
inštitúciám a kolektívom na Slovensku aj v zahraničí.
Jednu z možností objektivizácie hodnotiacich procesov poskytuje
bibliometria. Zjednodušene možno bibliometriu charakterizovať ako disciplínu, ktorá
na základe sledovania prostriedkov písomnej komunikácie, tlačených aj
elektronických, mapuje a analyzuje vedecký výskum a jeho súčasti. Možno ju
definovať aj ako „súbor metodologických poznatkov, ktoré budú slúžiť aplikácii
kvantitatívnych metód s cieľom hodnotiť proces tvorby, komunikácie a využitia
vedeckých informácií“ (Carrizo-Sainero, 2000). Podľa Krištofičovej (1997)
bibliometria sleduje vednú disciplínu tak, ako sa prejavuje prostredníctvom písomnej
komunikácie. Jej cieľovou skupinou je teda veda a výskum, resp. vedná disciplína a
jej obraz, ktorý poskytujú vedecké dokumenty ako „produkty“ vedeckovýskumnej
činnosti.
Jedno z prvých bibliometrických hodnotení výskumnej inštitúcie
sa uskutočnilo začiatkom 80. rokov vo Veľkej Británii, ktoré sa však podobne ako aj
viaceré po ňom stretlo s odmietnutím a skepsou, pretože hoci sa kvantitatívny
prístup javil ako objektívny, chýbalo mu teoretické zázemie a spoľahlivé údaje. S
rozvojom metodológie, ale aj informačnej základne sa postupne mnohé nedostatky
odstránili a bibliometrické hodnotenia sa začali bežne používať v hodnotiacich
procesoch. Niektoré krajiny vytvorili vlastné inštitúcie na zber a spracovanie
údajov, iné využívajú komerčné inštitúcie alebo výskumné skupiny
špecializujúce sa na bibliometrické analýzy. Ako prvé začali bibliometrické údaje
uvádzať vo svojich správach o vede v USA, Francúzsku a Holandsku. Za Slovensko boli
prvýkrát spracované niektoré bibliometrické údaje v Národnej správe o
vedeckotechnickej politike z roku 2002.
Na bibliometrických metódach sú založené významné evaluačné
systémy v Európe (najmä v Nórsku, Fínsku, Veľkej Británii), v Austrálii, Kanade,
Japonsku a iných krajinách, aplikujú sa napr. aj pri zostavovaní rebríčkov
najvýznamnejších univerzít v USA.
Dôvodom, prečo sa začali v akademických a vedeckovýskumných
komunitách viac akceptovať bibliometrické indikátory, bol narastajúci skepticizmus
voči hodnoteniu vedeckých výstupov odborníkmi (peer review). Nespokojnosť s
hodnotením, či už komisií alebo jednotlivcov, ale aj snaha objektívne rozhodovať o
rozdelení finančných zdrojov viedla k zvýšenému záujmu o numerické indikátory,
ktoré sľubovali vyššiu transparentnosť a objektívnosť. Počet publikovaných prác
nemusí vypovedať nič o ich kvalite, avšak počet prác publikovaných vo významnom
vedeckom časopise alebo počet citácií, hoci na kvantitatívnej báze, o kvalite
vypovedať môže. Numerické indikátory používané pri hodnotení výkonov však
nemusia zahŕňať len číselné údaje súvisiace s publikovaním, ale napr. aj údaje o
účasti na konferenciách, prednášky a pod. V odbornej literatúre sa procesy
súvisiace so zhromažďovaním a spôsobom prezentácie numerických indikátorov často
zahŕňajú pod spoločný názov metrika (metrics).
Napriek nespornému významu bibliometrických a iných číselných
údajov je proces hodnotenia univerzít alebo výskumných inštitúcií založený len na
kvantitatívnych ukazovateľoch neakceptovateľný. Najčastejšie sa využíva
kombinácia oboch metód – hodnotenie odborníkmi a kvantitatívne ukazovatele, najmä
ukazovatele súvisiace s publikačnými aktivitami a citovanosťou – teda údaje
získané aj prostredníctvom bibliometrických metód. Zaujímavé je, že viaceré
porovnania hodnotení na základe bibliometrických analýz a hodnotenia skupinami
odborníkov ukázali vysokú zhodu medzi nimi. Hodnotenia odborníkmi sa niekedy
nazývajú aj „subjektívne“, kým bibliometrické hodnotenia sa uvádzajú ako
„objektívne“ (Butler, 2008).
Základnými mierami bibliometrického výskumu pre analýzy
vedeckej produkcie sú jednoduché počty, napr. počet publikácií, počet citácií a
pod. V súvislosti s bibliometrickými analýzami sa často vyskytuje pojem
bibliometrický indikátor (ukazovateľ). Glänzel (2003) popisuje bibliometrické
indikátory ako komplexnejšie miery, ktoré možno získať ako štatistické funkcie
definované na množine bibliometrických prvkov a jednotiek. Upozorňuje na to, že pri
použití bibliometrických indikátorov sa musí uplatňovať požiadavka validity,
opakovateľnosti a spoľahlivosti. Krištofičová (1997) uvádza celkom 26
bibliometrických indikátorov, medzi nimi napr. autocitácie, citačný faktor, graf
spoluautorov, impakt faktor časopisu, kocitačnú intenzitu, polčas starnutia
literatúry, mieru autocitácií, mieru autoreferencií a pod.
Použitie jednotlivých indikátorov závisí od rozsahu
sledovaného objektu, od toho, či sa bibliometrický výskum realizuje na úrovni
vedeckej skupiny, inštitúcie, krajiny a pod. Z pohľadu hodnotenia na makroúrovni je
významným indikátorom Index aktivity (AI, Activity Index – podiel publikácií
inštitúcie, regiónu alebo krajiny v danej vednej oblasti na celkovom počte
publikácií) a relatívny index špecializácie (RSI, Relative Specialisation Index –
naznačujúci, či krajina má relatívne vysoký alebo nízky podiel na svetových
publikáciách).
Základnou jednotkou bibliometrického výskumu sú vedecké
časopisy. Je to zrejme nielen preto, že majú dlhodobo významné postavenie vo vedeckej
komunikácii, ale aj preto, že majú jasne definované štandardy publikovania a
kvalitný systém posudzovania (peer review), ktorý zabezpečuje originalitu
publikovaných výsledkov vedeckého výskumu (Glänzel, 2003).
Komunikačný model vo vede je charakterizovaný silnými väzbami
– takmer každý nový poznatok stavia na predchádzajúcich poznatkoch. Aplikácia
bibliometrických metód pri hodnotení vedeckého výskumu je podľa Van Raana a Van
Leeuwena (Van Raan, Van Leeuwen, 2002) založená na predpoklade, že vedecký pokrok
zabezpečujú vedci s miestnymi, národnými, ale primárne medzinárodnými
charakteristikami, ktorí skúmajú predmet výskumu tak, že stavajú na práci iných
vedcov. Toto sa prejavuje prostredníctvom referencií a citácií, ktoré sa stali
významným meradlom vplyvu vedeckého výskumu. Na princípe vzťahu publikovaných
príspevkov a ich citovanosti je založený odbornými komunitami uznávaný ukazovateľ
vplyvu vedeckých časopisov – impakt faktor. Z frekvencie citácií vychádza aj jedna
z metód bibliometrie – citačná analýza.
Citovanosť ako kritérium kvality vedeckej publikácie, resp.
výskumu, ktorý popisuje, nemožno akceptovať bez výhrad. Kritika sociológov vedy
poukazuje na to, že citačné správanie nie je natoľko spoľahlivé, aby bolo možné
na základe citačných údajov hodnotiť kvalitu. Jedným z argumentov je, že citovanie
má rôzne motivácie. Môže ísť napr. o splácanie účtu zakladateľom odboru či
negatívne hodnotenie publikácie (Garfield, 1972).
Aj kvalitná práca môže byť málo citovaná, ak nie je
napísaná vo svetovom jazyku, ak je zverejnená v ťažšie dostupnom dokumente (napr.
sivá literatúra), alebo ak sa problematikou zaoberá iba úzka skupina odborníkov.
Citovanosť publikácie neodráža jednoznačne význam alebo kvalitu opisovaného
výskumu, významne ju ovplyvňuje o. i. typ diela – či má publikovaná práca
charakter pôvodnej vedeckej práce, prehľadovej práce alebo práce metodickej
(Krištofičová, 1997). Na druhej strane citačná analýza sa netýka jednej publikácie
či jedného autora, ale veľkej množiny publikácií, čo môže znamenať elimináciu
niektorých vplyvov, pretože sa analyzujú citácie od mnohých autorov s rozličným
citačným správaním (Van Raan, 2005). Napriek tomu je zrejmé, že k výsledkom
získaným prostredníctvom citačných analýz treba pristupovať diferencovane a
zohľadňovať viacero aspektov.
Jedným z najvýznamnejších a všeobecne uznávaných
bibliometrických indikátorov je impakt faktor časopisu. Výška impakt faktora
časopisu, v ktorom publikuje autor, zdanlivo predurčuje kvalitu článku. Výskumy však
potvrdzujú, že nejde o všeobecne platné pravidlo. Aj v časopisoch s vysokým impakt
faktorom sa vyskytujú menej kvalitné články a články, ktoré zostanú bez odozvy. V
časopisoch s nízkym impakt faktorom sa takisto môžu vyskytovať obsahovo významné
články. Výskumy potvrdzujú, že impakt faktor časopisu do veľkej miery závisí od
vednej oblasti (Seglen, 1997). Vysoký impakt faktor sa viaže napr. na časopisy
pokrývajúce veľké oblasti základného výskumu, ktoré rýchlo expandujú.
E. Garfield (1972), zakladateľ Science Citation Index, tiež
upozorňoval na niekoľko skutočností, ktoré sú významné vo vzťahu k použitiu
citačných údajov pri evaluácii:
- citačná frekvencia odráža hodnotu časopisu a jeho využitie, ale
nepochybne existujú aj veľmi užitočné časopisy, ktoré nie sú často citované,
- citačná frekvencia je funkciou mnohých premenných, nielen
vedeckej podstaty, sú to napr. autorova reputácia, kontroverznosť témy, ale aj
dostupnosť dokumentu (v knižnici, prostredníctvom reprintov a pod.).
Základné princípy vedeckej komunikácie majú všeobecnú
platnosť, ale z hľadiska publikovania výsledkov existujú určité špecifiká – či
už v rámci vedných disciplín, inštitúcií, regiónov – v závislosti od úrovne
hodnotenia. Odlišnosti v publikačnom správaní sa môžu prejavovať v preferovaní
neperiodických publikácií pred periodickými, nízkej miere spoluautorstva, resp.
„medzinárodného“ spoluautorstva, v nízkej akceptácii elektronického publikovania
a pod. Významné odlišnosti možno sledovať pri porovnávaní napr. prírodných a
spoločenských vied. V spoločenských vedách si okrem časopiseckej literatúry
významné miesto uchovávajú monografické diela, ktorých miera zastarávania
informácií je niekedy oveľa pomalšia, čo sa premieta aj do vývoja publikačných
aktivít a citovanosti prác.
Vplyv na produktivitu z pohľadu publikácií má vedná disciplína
ako taká, resp. typ výskumu. Niektoré typy výskumov produkujú publikovateľné
výsledky až po dlhšom časovom období. Všetky tieto javy nevyhnutne treba brať do
úvahy aj pri používaní bibliometrických ukazovateľov na hodnotenie výsledkov
vedeckovýskumnej činnosti.
Štandardné bibliometrické výskumy tradične vychádzajú z
medzinárodných bibliografických databáz, na hodnotiace účely sa uprednostňuje
najmä databáza Web of Science, pretože okrem informácií o publikačných aktivitách
umožňuje sledovať aj reakcie na publikované práce v podobe citácií/referencií.
Množstvo publikovanej literatúry potvrdzuje, že ani údaje z Web of Science nemožno na
hodnotiace účely používať bez výhrad. Všeobecne známa je preferencia prírodných
vied a dosť nízke pokrytie spoločenských a humanitných vied v tejto databáze,
orientácia na americký výskumný priestor, množstvo formálnych chýb (nepresné
uvádzanie mien autorov, afiliácií), preferencia angličtiny ako jazyka publikovania
atď. Uvedením všetkých týchto (ale aj ďalších) obmedzení chceme len poukázať na
potrebu diferencovaného prístupu hodnotenia.
Pretože ani Web of Science, ani jej novší „konkurent“ Scopus
neposkytujú komplexný prehľad publikovaných dokumentov a odoziev na ne, v súvislosti
s hodnotiacimi analýzami sa hovorí aj o tzv. „neštandardnej“ bibliometrii –
bibliometrických analýzach, ktoré čerpajú informácie z lokálnych databáz a iných,
napr. aj interných zdrojov. „Neštandardná“ bibliometria sa pripúšťa najmä v
prípade hodnotenia výstupov zo spoločenských a humanitných vied, pretože tieto nie
sú v spomínaných databázach pokryté dostatočne. Za takúto bibliometriu sa dá
považovať aj použitie údajov o publikačných aktivitách slovenských vysokých
škôl sústredených v Centrálnom registri publikačnej činnosti (CREPČ).
Hoci sa bibliometria stala všeobecne známou ako podporný nástroj
evaluačných procesov, nemožno ju zúžiť len na túto funkciu. Bibliometrické
výskumy poskytujú obraz vývoja vedy, určitej vednej disciplíny alebo výskumného
problému, poukazujú na súvislosti medzi nimi, ich dynamiku a pod. Málo známe je
využitie bibliometrie v knižnično-informačných procesoch – napr. pri analýzach
používateľských potrieb, akvizičnej činnosti a pod. Lepšia znalosť
bibliometrických metód a postupov by mohla byť prínosom aj pre knižničnú prax,
najmä v podmienkach vedeckých a akademických knižníc.
Bibliometria priniesla mnoho pozitívneho do objektivizácie
hodnotiacich procesov, aj keď jej použitie má viaceré negatíva. Relatívne
jednoduchý prístup k údajom o publikáciách a citáciách, sústredeným v
medzinárodných databázach, často vedie k zjednodušenej interpretácii získaných
výsledkov. Zásadným problémom, na ktorý upozorňuje viacero renomovaných autorov v
zahraničí, je používanie bibliometrických údajov a indikátorov bez uvedomenia si
súvislostí a vplyvov, najmä však bez diferencovaného pohľadu na vedné oblasti, ich
publikačné modely a zvyklosti, citačné správanie a pod. Vo vzťahu k použitiu
bibliometrie pri evaluácii sa zdôrazňuje, že problém nie je v použití
bibliometrických indikátorov ako takých, ale v aplikácii nedostatočne prepracovaných
postupov (Van Raan, 2005), pričom sa odporúča, aby sa bibliometrický výskum zameral
na vypracovanie indikátorov výkonnosti výskumu, priamo použiteľných v praxi.
Literatúra:
Butler. L. 2008. Using a balanced approach to bibliometrics:
quantitative performance measures in the Australian Research Quality Framework. [online].
In Ethics in Science and Environmental Politics, Vol. 8: Preprint, January 2009
[cit. 19. 01. 09].
Dostupné na internete: <http://www.int-res.com/articles/esep2008/8/e008p083.pdf>
Carrizo-Sainero, G. 2000. Toward a Concept of Bibliometrics.
[online]. In Journal of Spanish Research in Information Science, roč 1, 2000, č.
2 [cit. 19. 05. 07].
Dostupné na internete: <http://www.ucm.es/info/multidoc/publicaciones/journal/pdf/bibliometria-eng.pdf>
Garfield, E. 1972. Citation Analysis as a Tool in Journal
Evaluation. In Science, 178, 1972, s. 471-479.
Glänzel, W. 2003. Bibliometrics as a reserch field : A
course on theory and application of bibliometric indicators. [online]. Nordic
Research School of Library and Information Science, 2003. [cit. 18. 3. 08]. Dostupné na
internete: <http://www.norslis.net/2004/Bib_Module_KUL.pdf>
Krištofičová, E. 1997. Prostriedky hodnotenia
knižničných a vedeckoinformačných procesov. Bratislava : CVTI, 1997. 157 s. ISBN
80-85165-62-7.
Národná správa o vedeckotechnickej politike. 2002.
Bratislava : Róbert Vico – vydavateľstvo. 141 s. ISBN 80-89041-50-7
Seglen, P. O. 1997. Why the impact factor of journals should
not be used for evaluating research [online]. In British Medical Journal, 1997, 314
: 497 (15 February) [cit. 14. 04. 06]. Dostupné na internete: <http://bmj.bmjjournals.com/cgi/content/full/314/7079/497>.
Van Raan, A. F. 2005. Fattal attraction : Conceptual and
methodological problems in the ranking of universities by bibliometric methods. In Scientometrics,
roč. 62, 2005, č. 1, s. 133-143.
Van Raan, A. F. J. – Van Leeuwen, T. N. 2002. Assessment of
the scientific basis of interdisciplinary, applied research : Application of bibliometric
methods in Nutrition and Food Research. In Research Policy, vol. 31, 2002, s. 611
– 632.
|