Použití metod měření výkonu a kvality v KUK MU v Brně

Základní informace o knihovně

Obr. 1 Knihovna – křižovatka cest, prúchozí na úrovni dvou podlaží (Foto: Lubomír Čech)

Knihovna univerzitního kampusu (KUK) Masarykovy univerzity (MU) byla zřízena v r. 2007 jako vysokoškolská knihovna v brněnském Univerzitním kampusu Bohunice. Vznikla sloučením Ústřední knihovny Lékařské fakulty, knihovny Fakulty sportovních studií a části sbírek Ústřední knihovny Přírodovědecké fakulty. V kampusu jí náleží centrální místo, je vestavěna mezi centrální koridory. Architektonický koncept zdůrazňuje rozlehlý prostor, do kterého jsou „zavěšeny“ vestavky se studovnou a kancelářemi. Výhodou je snadná dostupnost ze všech stran pro uživatele, v budoucnu také ze sousední Fakultní nemocnice Brno. 

Celková rozloha knihovny obnáší více než 4 000 m²  pro uživatele, 460 m² zázemí knihovníků a 900 m²  skladů. Kapacitně se jedná o 4 225 m polic ve volném výběru a 8 577 m polic ve skladech. Aktuálně KUK spravuje cca 190 000 svazků, ve volném výběru je přes 50 000 svazků, ve výhledu je po dobudování kampusu do 2 let dalších 100 000 svazků.

Ve studovnách je 560 studijních míst, z toho 100 s PC. Atraktivní je zejména PC studovna s 56 místy (viz. Obr. 2). 

Obr. 2 PC studovna ve vestavku (Foto: Lubomír Čech)

Služby knihovny – rozsah, základní výkonové ukazatele

Knihovna je registrována jako specializovaná knihovna, s profilací fondů na lékařské a nelékařské obory, vyučované Lékařskou fakultou, dále na chemii, biochemii a znečištění životního prostředí, také na pohybová studia, kinantropologii a sportovní obory. Několik základních ukazatelů v tabulce:

Část služeb je poskytována virtuálně (rezervace výpůjček, prodlužování, zpřístupňování elektronických informačních zdrojů (EIZ), meziknihovní výpůjční služba ( MVS). Užíváme nové nástroje pro práci s EIZ, např. METALIB, Citation Linker a také SFX, blíže na Portálu elektronických informačních zdrojů MU.

Knihovna se věnuje informační výchově (IV) uživatelů, vyučuje předměty Informační výchova a jeho anglickou verzi pro zahraniční studenty Information Literacy jako
e-learningový kurs s podporou tutora, Získávání vědeckých informací pak formou blokové výuky pro studenty doktorských studijních programů LF. Pro podporu IV byly vytvořeny  interaktivní tutoriály a elektronické publikace, např. Průvodce elektronickými databázemi LF a PřF (aktuálně je dokončována publikace Metodika tvorby bibliografických citací, jejíž vydání je plánováno na září 2010).

Kromě projektů, zaměřených na sbírky a jejich dostupnost, se management knihovny zabývá oblastí kvality služeb a maximální efektivity provozu, neboť ze strany zřizovatele je stálý tlak na návratnost investic do knihovny a fondů (ROI – Return On Investment) a změření výkonu ve veřejně publikované databázi, které umožňuje porovnání s ostatními institucemi, je součástí záměru (LUTHER, 2008).  

Využití metod měření výkonu a kvality při strategickém plánování a provozu knihovny

Metody měření výkonu byly využity již ve stádiu přípravy provozu nové knihovny při strategickém plánování.  Příprava vzniku nového pracoviště sebou přinesla mnoho otázek, které bylo možné odpovědět hlavně s pomocí těchto metod. Posléze se staly součástí práce knihovny trvale. Jako teoretické východisko posloužily metody vycházející z teorií řízeníkvality TQM (Total Quality Management), především European Foundation for Quality Management (EFQM) Model Excelence, užívaný v českém školství, a Balanced ScoreCard (BSC), které se staly základem mnohých knihovnických systémů měření výkonů a kvality (IFLA, BIX), viz níže v tomto článku v části Výběr vhodného nástroje měření výkonu a srovnání. 

A. Kvantitativní ukazatele

Pro výpočet potenciálních výkonů nového pracoviště bylo potřebné najít optimální ukazatele, aby byl celý proces změny řízen efektivně. Změna zahrnovala v několika etapách sloučení 3 pracovišť s personálem a fondy, také doplnění týmu o nové zaměstnance. Byly analyzovány  výkonové ukazatele knihoven plánovaných ke sloučení za minulé období, z kterých byl následnou syntézou vytvořen základní strategický model. Ten zahrnoval rozsah výkonů a pracovní pozice pro jednotlivé procesy. Byly využity doporučující normativy ČSN^. a interní metodické materiály Knihovnicko-informačního centra MU. Do analýzy byly zahrnuty ukazatele:

• knihovní fondy ve svazcích,
• roční přírůstek knih,
• počet předplácených periodik,
• počet on-line periodik a databází,
• počet výpůjček,
• počet MVS a rešerší
• metodická péče o dílčí knihovny,
• počet uživatelů,
• rozsah elektronických služeb uživatelům.

Model prošel supervizí po prvním roce chodu knihovny, kdy byly zohledněny skutečně dosažené výkony. V průběhu příštího roku bylo provedeno opětovné měření výkonu, doplněné dalším sběrem dat, zčásti získávaných automatizovaně z knihovního systému ALEPH,  zčásti podle charakteru procesu i ručně zaměstnanci. Ručně byla sbírána např. data o časové náročnosti akvizice, jmenné a věcné katalogizace, poradenské službě uživatelům v oblasti IT a j. Byly zohledněny i parametry budovy, vzdálenost do skladů a další údaje.

B. Kvalitativní ukazatele

V plánování provozu byly stanoveny strategické vize a standardy úrovně služeb. Připravoval se uživatelsky orientovaný model s rolemi, jež od nás očekával zřizovatel, které by  poskytovali kompetentní zaměstnanci. Vytvořili jsme profily jednotlivých knihovnických a informačních pozic s důrazem na tzv. garanty jednotlivých procesů. Zde jsme kromě profesních kvalifikačních požadavků stanovili a požadovali i kompetence (Evropský průvodce, 2006) organizační, řídící, schopnost dobře komunikovat, emoční inteligenci (ALIRE, 2007) a jazykové znalosti. Nově vzniklý tým prošel důkladným doškolením ve všech oblastech služeb. Důraz byl kladen na výbornou úroveň znalosti základních služeb, dobrou znalost speciálních služeb, a z toho vyplývající zastupitelnost, která zaručuje vysokou spolehlivost a stálou kvalitu poskytovaných služeb. Ve služebním intranetu byly uloženy dokumenty k jednotlivým službám a procesům, které jsou dále rozvíjeny. Týmově vzniklé znalosti jsou sdíleny, zaměstnanci na nich spolupracují   i v neformálních pracovních skupinách. Personál je garanty průběžně doškolován v případě změn, nejčastěji ve virtuálně poskytovaných službách. Kvalitativní ukazatele a jejich vypovídací schopnost o spokojenosti uživatelů jsme sledovali interním šetřením a průzkumem spokojenosti uživatelů.

Hodnocení výkonu a kvality provozu knihovny jsme sledovali z několika perspektiv, blízkých metodě Balanced Scorecard, která sleduje finanční perspektivu, zákaznickou perspektivu,  perspektivu interních procesů a perspektivu učení a růstu. Knihovna univerzitního kampusu použila členění na oblast nabídky, využívání, efektivity a rozvoje.

1.    Oblast nabídky sledovala:

• fyzickou dostupnost žádaných titulů,
• soulad naší nabídky s potřebami uživatelů (provedena analýza dostupnosti studijní literatury, srovnání s nabídkou a doplnění fondů),
• snadnou orientaci při výběru dokumentů (provedeno resignování volných výběrů),
• kvalitu on-line dostupnosti služeb a zdrojů,
• včasnost vyřizování požadavků MVS a rešerší,
• úplné poradenství v přístupu k on-line zdrojům,
• uživatelsky přívětivé prostředí, vlídné chování k uživatelům.

2.    V oblasti využívání služeb jsme chtěli získat zpětnou vazbu od uživatelů a sledovali jsme:

• využívání on-line zdrojů (statistiky COUNTER, vlastní měření),
• spokojenost uživatelů (dotazníkový průzkum),
• využívanost studoven,
• počet výpůjček,
• návštěvnost výukových lekcí a výuky.

3.    V oblasti efektivity práce a služeb jsme se snažili analýzou dat získat informace o:

• nákladech na výpůjčku a návštěvu uživatele,
• nákladech na zpracování dokumentů (akviziční výdaje v poměru k počtu studentů/učitelů a vědecko-výzkumných zaměstnanců),
• rychlosti zpracování dokumentů,
• rychlosti výpůjčního procesu, včetně rychlosti výpůjčky dokumentu ze skladu,
• rychlosti uspokojení požadavku MVS a rešerší.

4.    Velký důraz jsme kladli i na sledování prorůstových ukazatelů, a to:

• další vzdělávání a školení zaměstnanců (počet hodin/dnů),
• informační vzdělávání uživatelů, jeho další zlepšování,
• získávání prostředků i mimo základní rozpočtové prostředky od zřizovatele,
• snaha o zvyšování prostředků od zřizovatele.

Výběr vhodného profesionálního nástroje měření výkonu a srovnání

Management knihovny se po dvou letech provozu a využívání vlastních metod měření výkonu a kvality rozhodl získat údaje o hodnotě vlastního výkonu v některém profesionálním systému. Zajímalo nás srovnání s ostatními knihovnami stejného typu. Knihovna pro zmapování dostupných systémů uspořádala v r. 2009 ve spolupráci s Asociací VŠ knihoven České republiky odborný seminář Možnosti měření výkonnosti a efektivnosti pro vysokoškolské knihovny, kde byl vyjádřen zájem o tyto metody i ze strany dalších univerzitních knihoven. Inspirativní byly zkušenosti z účasti na semináři  QQML2009: Qualitative and Quantitative Methods in Libraries, International Conference v Řecku. Zřizovatel nás ve snaze zapojit se do systémů měření podporoval. Měli jsme zkušenosti s parametry  EFQM modelu excelence, Balanced Scorecardu, BIX, LIBQual a také jsme znali nové knihovnické projekty z této oblasti, např. měření Association of Research Libraries (ARL) a    SCONUL (Library Performance Measurement, 2009) nebo iniciativy IFLA, zejména sekce Statistiky a evaluace. V edici IFLA také vyšla základní literatura pro měření kvality knihoven (POLL, 2007). Odborná veřejnost má k dispozici i blog knihovníků, kteří se problematice hodnocení knihoven věnují Library assessment.info. 

České a slovenské knihovnické spolky a Národní knihovny obou zemí se touto problematikou také zaobíraly, např. slovenská konference Meranie výkonov a benchmarking v knižniciach s mezinárodní účastí zmapovala úroveň využití metod měření v okolních zemích. V Čechách pak několikaletá aktivita ředitele Knihovnického institutu Národní knihovny PhDr. Víta Richtera umožnila založit benchmarkingový projekt pro veřejné knihovny. Ten vychází z německého systému BIX, navíc má i dotazník uživatelské spokojenosti, inspirovaný dotazníkem ze systému LIBQUAL. Tento projekt však není určen pro vědecké a vysokoškolské knihovny, proto jsme hledali systém s parametry pro akademické knihovny. Vyhovující byly produkty ARL, zejména LibQUAL, a dále produkt německého knihovnického spolku Deutscher Bibliotheksverband (DBV) s víceletou tradicí BIX – Bibliotheksindex. Ten má parametry i pro akademické knihovny. BIX v současnosti  neumožňuje měření spokojenosti uživatele, které je však připravováno. Důležitým faktorem pro volbu systému byla i jeho cena. BIX je levnější a struktura jeho ukazatelů z velké většiny odpovídala  datům a statistickým ukazatelům sledovaným KUK.

Účast KUK v BIX

Účast v systému BIX je podmíněna  podpisem smlouvy o spolupráci mezi německým knihovnickým spolkem a KUK. Ta zpřesňuje nakládání se svěřenými daty, nakládání s výsledky, uvádí harmonogram odevzdání dat. Každoročně se data za uplynulý rok sbírají u vysokoškolských knihoven do 31. 3. Výsledky jsou zveřejněny v průběhu června. Kromě veřejně dostupné databáze jsou výsledky i tištěny ve speciálním BIX Magazinu, doplněném portréty nejlepších knihoven. Do 31. 12. stávajícího roku je možné účast ukončit. Vstupní roční poplatek činí 170 EUR.

Vstupní data jsou podle velmi detailní metodiky vkládána do elektronického systému, v němž lze až do uzávěrky vlastní data opravovat. Uživatelská podpora je výborná, zaměstnanci DBV reagují obratem na případné dotazy.

KUK se zaregistrovala v BIX do kategorie vědeckých knihoven, která je v souladu s tradičním německým členěním dělena do kategorií knihoven jednoúrovňových a dvoúrovňových s dílčími knihovnami. KUK byla zařazena mezi dalších 16 knihoven dvouúrovňového typu, tzv. UB-zweischichtig. V celkovém hodnocení ve své kategorii jsme se umístili na 11 místě.

Struktura BIX, doplněná výsledky KUK

BIX srovnává výkon knihoven v kategoriích Nabídka, Využití, Efektivita a Rozvoj, jedná se tedy o metodu Balance ScoreCard, upravenou pro knihovny. Z každého ukazatele zaslaného knihovnou je vypočten index, který pak lze porovnat s vypočtenou střední hodnotou (průměr), nejnižší hodnotou a nejvyšší hodnotou. Každá knihovna tedy může u jednotlivého ukazatele sledovat, v čem se může zlepšit a v čem vyniká. Vlastní benchmarkingové srovnání výkonu je prezentováno velmi přehledně.

V oblasti Nabídka sleduje BIX 7 ukazatelů:

1.    Plocha pro uživatele v m²
2.    Počet členů základní uživatelské skupiny
3.    Personál knihovny (přepočtený stav)
4.    Výdaje za nákup zdrojů
5.    Výdaje na nákup EIZ/digi
6.    Výdaje za zdroje bez vazby
7.    Týdenní provozní doba

V této oblasti dopadla KUK jako poslední především v důsledku ukazatelů 4, 5, 6, v nichž se odráží skutečnost, že KUK má mnohem nižší prostředky na nákup zdrojů. I v případě ukazatele 7 měla KUK horší výsledky než ostatní, což však opět souvisí s nedostatkem financí na personální zabezpečení delší otevírací doby.

Oblast Využívání:

8.    Fyzické návštěvy
9.    Počet přístupů (virtuálních návštěv) na domovskou stránku knihovny a startovní stránku online-katalogu)
10.  Účast na školeních – uživatelé
11.  Počet výpůjček (bez prodloužení a rezervací)
12.  Počet výpůjček (bez prodloužení a rezervací) s počtem MVS
13.  Spokojenost uživatele – není dosud v BIX sledována, bude od r. 2011

V této oblasti jsme se umístili na 11. místě z důvodu nižší návštěvnosti. KUK nebyly v prvním roce účasti počítány virtuální návštěvy, které se měří speciálním BIX programem. Protože jsme jej vzhledem k pozdější registraci již nemohli využít, měli jsme o 1 ukazatel méně. Problematický byl pro nás i ukazatel 8, neboť jsme neměli automatizované měření vstupů, a proto jsme museli údaje získat ručním měřením návštěv podle doporučené metodiky. 

Oblast Efektivity:

14.  Výdaje knihovny bez investičních výdajů
15.  Počet aktivních uživatelů (interních z VŠ)
16.  Výdaje na personál
17.  Počet nakoupených médií
18.  Počet zaměstnanců (FTE) ve zpracování fondů
19.  Počet zaměstnanců ze služeb a MVS
20.  Výpůjčky bez prodloužení + MVS aktivní, MVS pasivní

Přestože jsme se v této oblasti umístili na velmi dobrém 6. místě, chceme zlepšovat výkony zejména u meziknihovní služby a výpůjček.

Oblast Rozvoje:

21.  Vzdělávání zaměstnanců (hodiny přepočtené na pracovní dny)
22.  Počet personálu hrazeného zřizovatelem
23.  Finanční prostředky knihovny od zřizovatele
24.    Finanční prostředky vysoké školy bez ostatních finančních prostředků (mimo granty a další mimorozpočtové zdroje)
25.  Generované prostředky, jakož i ostatní finanční prostředky a zvláštní prostředky získané knihovnou
26.  Celkové finanční prostředky knihovny
27.  Personál pro EIZ a IT

V této oblasti rozvoje jsme získali slušné 9. místo, většina ukazatelů se blíží vypočtenému průměru, nízký výkon máme především v získávání mimorozpočtových prostředků.

Další ukazatele 28 – 38 nejsou zahrnuty do měření, jedná se o data potřebná pro výpočet indexu, která zahrnují základní data o knihovně a obsluhované populaci:

28.  Kategorie v BIX (formální členění)
29.  Centrální prostředky na konsorcia, které nejdou z rozpočtu knihovny
30.  Poznámky ke zvláštním úkolům a zaměření knihovny
31.  Počet zahrnutých knihoven
32.  Aktivní vypůjčovatelé/uživatelé
33.  Počet aktivních externistů
34.  Počet studentů
35.  Počet akademiků
36.  Nabízená studijní místa
37.  PC osazená místa
38.  PC s Internetem

Závěrečné hodnocení

Účast knihovny v měření BIX s daty r. 2009 byla užitečným krokem ve sledování výkonů a jejich kvality. Také nám dala podněty pro zlepšení pracovních postupů a dílčích změn. Zcela konkrétní a obratem řešitelný byl podnět ke sledování fyzických návštěv, kdy jsme doplnili automatizovanou evidenci vstupů. Také jsme zvědavi na počet virtuálních návštěv, který získáme ze speciálního programu měření BIX. Doufáme, že detailní zhodnocení výsledků měření bude konkrétně zacílenými úkoly vést ke zlepšení konkrétních ukazatelů. Rozhodně chceme v měření výkonu v systému BIX pokračovat i v dalších letech. Doufáme, že bude BIX doplněn i dotazníkem na spokojenost uživatele, do té doby budeme provádět opět vlastní průzkum, aktuálně na podzim 2010. Účast v BIX nám pomohla v lepší orientaci ve vlastní výkonnosti. Výsledky také poslouží při jednání se zřizovatelem.  

Použitá literatura

ALIRE, Camila A. 2007. Emotional intelligence and diversity in academic libraries. In: HERNON, Peter, GIESECKE, Joan, ALIRE, Camila A. (eds.). Academic librarians as emotionally intelligent leaders. Westport (Conn.): Libraries Unlimited, 2007. p. 87-94. ISBN 978-1-59158-513-8.

Evropský průvodce kompetencemi v oboru knihovnických a informačních služeb. Část 1. Kompetence a schopnosti. Část 2. Úrovně kvalifikace. 2006. Přel. Lucie Landová, Přel., upr. a redig. Jarmila Burgetová. Praha : SKIP ČR, 2006. 91 s. ISBN 80-85851-17-2.

STANLEY, Tracey, KILLICK, Selena. Library Performance Measurement in the UK and Ireland [online]. Washington : Association of Research Libraries, c2009 [cit. 2010-08-14]. 190 p. Dostupné na Internetu:  <http://www.arl.org/bm~doc/LibraryperformanceUKIreland.pdf>. ISBN 978-1-59407-839-2.

LUTHER, Judy. University investment in the library: What´s the return? : A case study at the University of Illinois at Urbana-Champaign [online]. San Diego (CA) : Elsevier, 2008 [cit. 2010-08-14]. Library Connect White Paper #1. Dostupné na Internetu: <http://libraryconnect.elsevier.com/whitepapers/0108/lcwp0101.pdf>.

POLL, Roswitha, TE BOEKHORST, Peter. 2007. Measuring Quality : Performance Measurement in Libraries. 2nd rev. ed. München : K. G. Saur, 2007. 269 p. IFLA Publications 127. ISBN 973-3-58922033-3.