Analýza výkonov vedeckých knižníc v Poľsku. Opis projektu

Hlavným cieľom tejto práce je prezentovať výsledky prebiehajúcej štúdie  o ukazovateľoch výkonov pre poľské vedecké knižnice.

Výkonové normy knižníc boli po niekoľko rokov predmetom konferencií, diskusií
a viacerých publikácií, ktoré zorganizovali, inšpirovali a napísali knihovníci v záujme uplatnenia jednotnej metodiky pri formulovaní takýchto noriem.

V Poľsku neexistuje jednotný systém štatistiky národnej knižnice a neexistuje ani inštitúcia, ktorá by vyvíjala nástroje a metódy vyhodnocovania práce knižníc. Zdá sa však, že manažmenty knižníc si čoraz väčšmi uvedomujú potreby jednotných kritérií, na základe ktorých môžu vyhodnocovať a porovnávať svoje výkony. Organizácia knižníc a príslušný manažment nepotrebujú len rozpočet a fondy, ale aj automatizáciu, pracovné sily a kvalitu služieb.

Ústredný štatistický úrad (ďalej ÚŠÚ), zodpovedný za štatistické prieskumy v Poľsku, skúma prácu knižníc len čiastkovo. Napriek pozitívnym zmenám zavedeným v roku 2004 chýbajú v dotazníkoch ÚŠÚ, zasielaných knižniciam každé dva roky, mnohé dôležité údaje, ktoré by pomohli prezentovať úplný a systematický obraz knižníc. ÚŠÚ neskúma finančné hľadiská výkonov knižníc, ich infraštruktúru a také oblasti, ako je vzdelávacia a publikačná činnosť. Správy o knižničnej štatistike sa publikujú v tlačenej forme a elektronicky na domovskej stránke ÚŠÚ. Sú to čisto údaje bez ukazovateľov výkonov, navyše zozbierané formou nevhodnou pre porovnávacie štúdie.

Štátna akreditačná komisia¹, ktorá vyhodnocuje úroveň vzdelávania v daných subjektoch, monitoruje výkony knižníc len na všeobecnej úrovni a nemá nástroje v podobe prijatých zásad, ukazovateľov
a noriem, pomocou ktorých by sa dali knižnice vyhodnocovať. Hodnotenie inštitúcií vysokého školstva vyvolalo u knihovníkov značnú nechuť a nespokojnosť. Knihovníci namietajú, že toto hodnotenie vychádza z nesprávnych informácií o knižniciach, čo sa objavuje i v populárnych týždenníkoch a denníkoch.

Predmetom výskumu v tomto projekte je práca vedeckých knižníc. Vedecké knižnice v Poľsku sú veľmi rôznorodou skupinou, pokiaľ ide o ich veľkosť a organizáciu, no spája ich spoločné poslanie – slúžiť potrebám vedy a vzdelávania, zabezpečovať prístup k materiálom potrebným pre výskum².

Patria sem:

1. Národná knižnica,
2. akademické knižnice,
3. knižnice, ktoré sú organizačnou zložkou Poľskej akadémie vied,
4. knižnice pracovísk v oblasti vývoja a výskumu,
5. vybrané verejné knižnice,
6. iné knižnice uvedené v zozname ministra kultúry.

Najväčšiu skupinu tvoria štátne aj neštátne akademické knižnice, ktoré poskytujú služby najmä učiteľom a študentom. Ich prevádzka sa riadi zákonom o vyššom vzdelávaní, ktorý od každej vzdelávacej inštitúcie vyžaduje, aby si spravovala vlastnú knižnicu³.

Do ďalšej skupiny patria knižnice Poľskej akadémie vied a výskumno-vývojových inštitúcií. Ich používateľmi sú hlavne výskumní a vedeckí pracovníci z rôznych výskumných pracovísk.

Do ďalšej skupiny patrí trinásť vybraných verejných knižníc, ktoré vo všeobecnosti existujú vo veľkých mestách. Niektoré z nich okrem poskytovania služieb ako verejnej knižnice slúžia aj ako regionálne knižnice na úrovni vojvodstva. Je ich 10 a ich úlohou je dohliadať na prácu všetkých verejných knižníc v danom regióne. Podliehajú vojvodstvu alebo miestnej správe.

Do poslednej skupiny patria špeciálne knižnice. Mnohé z nich majú status centrálnych knižníc pre istú oblasť, napríklad Parlamentná knižnica alebo Ústredná lekárska knižnica.

V dôsledku opísanej situácie s knižničnou štatistikou a s potrebou porovnateľných údajov vytvorili knihovníci a odborníci v knihovníctve Pracovnú skupinu pre normalizáciu. Táto pracovná skupina vznikla v roku 2001 a pôvodne išlo o neformálnu skupinu, ktorá od roku 2004 pracovala na základe „Dohody o realizácii projektu Analýza činnosti vedeckých knižníc v Poľsku“ uzavretej medzi akademickými orgánmi a knižnicami, v ktorých boli zamestnaní členovia skupiny. V súčasnosti má skupina 10 členov zastupujúcich akademické, verejné a špeciálne knižnice. Koordinátorom projektu je Univerzitná knižnica v Poznani. Projekt čiastočne financuje Ministerstvo pre vedu a vysoké školstvo. Práca skupiny bola od samého začiatku predmetom záujmu a podpory Konferencie riaditeľov vysokoškolských knižníc v Poľsku, ktorá sa zároveň zúčastňuje na plnení jej úloh.

V zmluve sú definované všeobecné ciele projektu:

• formulovať metódy vyhodnocovania výkonov vedeckých knižníc v Poľsku,
• získavať údaje pre počítačovú databázu za účelom definovania ukazovateľov a noriem pre vedecké knižnice v Poľsku,
• porovnávať výsledky analýz s ukazovateľmi a normami, podľa ktorých sa riadi činnosť vedeckých knižníc v zahraničí,
• pripravovať a publikovať výročné správy.

Autori dotazníka potrebného na uskutočnenie plánovaného výskumu a merania sa stretávali s mnohými ťažkosťami, pretože chýbali národné modely a normy, takže bolo nutné preskúmať mnohé publikácie o činnostiach a výkone knižníc (3).

Na výpočet a výklad  ukazovateľov výkonov sa použili tieto medzinárodné normy a odporúčania:

• ISO 11620: 2000 Informácia a dokumentácia. Ukazovatele výkonu knižníc
• ISO/TR 20983: 2003 Informácia a dokumentácia. Ukazovatele výkonov pre elektronické knižničné služby
• PN-EN ISO 2789: 2005 Informácia a dokumentácia – Międzynarodowa statystyka biblioteczna (Medzinárodná štatistika knižníc)
• Poll R., te Boekhorst P.: Measuring Quality. International Guidelines for Performance Measurement in Academic Libraries. (Meranie kvality. Medzinárodné usmernenia na meranie výkonu v akademických knižniciach.) poľské vydanie, Wrocław 2004

K dispozícii sú dva dotazníky – jeden pre akademické knižnice a jeden pre ostatné knižnice. Základný rozdiel medzi nimi spočíva v tom, že dotazník pre verejné, inštitucionálne a špeciálne knižnice neobsahuje špecializované informácie o otázkach vzdelávania. Dotazníky boli formulované na základe skúsenosti poľských knižníc pri realizácii projektu TEMPUS JEP 13242 (1) a na základe výsledkov a záverov konferencie Porovnávacia štúdia poľských vedeckých knižníc, ktorú zorganizovala Hlavná knižnica Ekonomickej akadémie v Krakove v roku 2001 (2). Keď boli vyplnené prvé dotazníky za rok 2002 a 2003, vyskytlo sa viacero problémov, ktoré sa odstránili a potom zohľadnili v dotazníkoch na rok 2004. Okrem rozšírenia niektorých otázok (napríklad o predmete fondov) sa zmeny týkali preformulovania niektorých otázok, aby boli presnejšie, a pridali sa vysvetlivky a poznámky. Dotazníky sa museli meniť aj v nasledujúcich rokoch, ale počet zmien sa udržiaval na minime, aby sa dali robiť porovnania  počas viacerých rokov. Napríklad v dotazníkoch na rok 2007 sa otázka o dostupnosti katalógov na internete vyškrtla ako prebytočná a otázka o počte miest v čitárňach sa nahradila (podľa medzinárodných požiadaviek) otázkou o počte pracovných miest pre používateľov, navyše sa pridala otázka o elektronických prostriedkoch zasielania upomienok (elektronickou poštou alebo textovou správou).

V auguste 2008 mal dotazník 48 otázok týkajúcich sa knižníc ako celého systému, kde sa skúma prostredie, procesy a služby v nasledujúcich oblastiach:

• pracovné sily,
• fondy,
• rozpočet,
• infraštruktúra,
• obrat,
• referenčné služby,
• vzdelávacia činnosť, publikácie a databázy,
• spolupráca knižníc, podujatia, profesijná činnosť pracovníkov,
• vybrané ukazovatele výkonov.

Vo väčšine prípadov sú ukazovatele výkonov knižníc odvodené od štatistických informácií uvedených v dotazníkoch. Dnes obsahuje dotazník 86 ukazovateľov, z čoho 67 sa vyhodnocuje automaticky a 19 poskytujú knižnice⁴. Musíme zdôrazniť, že väčšina modelov je odvodená od už spomínaných noriem a odporúčaní.

Relatívne veľký počet ukazovateľov, potrebných pre porovnávacie štúdie, je spôsobený faktormi:

• potreba rozsiahlej analýzy činnosti knižníc,
• potreba zahrnúť do výskumu všetky aspekty, ktorých sa dotazníky týkajú,
• plán vytvoriť normy, podľa ktorých sa budú vyhodnocovať knižnice v nasledujúcich rokov, a to na základe aktuálne analyzovaných ukazovateľov,
• „trojitý“ výpočet vybraných ukazovateľov – neexistuje jednotná definícia štatistického študenta.

Tu si treba pripomenúť, že projekt okrem typických ukazovateľov výkonov zohľadňuje aj tie ukazovatele, ktoré sa týkajú počtu pracovníkov, ich profesijného angažovania sa atď. Tieto informácie môžu byť užitočné pri riadení knižnice a možno ich použiť v ďalšom výskume.

Jedným z cieľov projektu je poskytnúť jednotné metódy prezentovania štatistiky, výpočtu a publikovania stredných hodnôt, ktoré môžu byť užitočné pre knihovníkov a iné inštitúcie. Tu je potrebné poznamenať, že väčšina ukazovateľov sa vypočíta automaticky. Knižnice poskytujú tieto ukazovatele výkonov:

• percentuálny podiel špecifických výdavkov v celkovom rozpočte,
• percentuálny podiel špecifických príjmov v celkovom rozpočte,
• výdavky knižnice na študenta/používateľa,
• výdavky na nákup fondov/kníh na študenta/používateľa,
• doba trvania výpožičiek kníh,
• percentuálny podiel kníh vytvorených pomocou počítačov,
• percentuálny podiel katalogizačných záznamov prevzatých z vonkajších prameňov.

Dôležitým nástrojom dosahovania cieľov projektu je počítačový program⁵, ktorý ponúka funkcie:

• knižnice môžu vyplniť, zmeniť a poslať dotazník online,
• vybrané ukazovatele výkonov možno vypočítať automaticky na základe informácií z dotazníka,
• správnosť vyplnenia dotazníka možno overiť automaticky,
• porovnávací výskum vykonáva pracovná skupina pre normalizáciu,
• každá knižnica môže analyzovať údaje a ukazovatele výkonov za daný rok alebo za niekoľko rokov a porovnávať ich so strednými hodnotami knižníc toho istého typu.

Od roku 2003 je pre knižnice k dispozícii internetová aplikácia, ktorá umožňuje zber a analýzu štatistických dát a výpočet ukazovateľov výkonu. Do systému sa dajú zadať aj údaje za rok 2002. Ak sa knižnica chce zapojiť do projektu, stačí, aby ju jej riaditeľ zaregistroval. Zapojenie je výlučne dobrovoľné.

Webová lokalita s informáciami o projekte, s pokynmi, dotazníkmi, zoznamom   ukazovateľov výkonu a výsledkami prieskumov je k dispozícii na webowej adrese http://ssk2.bu.amu.edu.pl/standaryzacja/index.htm.

Momentálne je hostiteľom programu Knižnica Univerzity Adama Mickiewicza v Poznani. Softvér sa skladá zo štyroch (4) prvkov:

1. modul pre knihovníkov – online dotazník s nástrojmi na automatickú kontrolu a overovanie presnosti dát zadaných do každého poľa a s primeranými vzorcami na výpočet vybraných  ukazovateľov výkonu,
2. modul správcov – umožňuje registráciu knižníc a fyzických osôb oprávnených prenášať údaje a vypracúvať analýzy, používa sa aj na priame kontakty s pracovníkmi knižníc, ktorí sú zodpovední za vypĺňanie dotazníkov,
3. databáza – je určená na zapísanie a registráciu dát z dotazníkov, má dynamickú formu a správca môže zmeniť, pridať alebo vymazať akékoľvek polia, zodpovedajúce otázkam z dotazníka,
4. modul pre pracovnú skupinu pre normalizáciu – je nástrojom na vykonávanie štatistických analýz dát a  ukazovateľov výkonu.

Softvér sa priebežne rozširuje a zlepšuje. Dôležité je najmä rozširovanie schopností, ktoré ponúkajú analýzy dát riaditeľom knižníc.

Účasť knižníc na prieskume

Počet knižníc, ktoré vypĺňajú dotazníky, neustále rastie. Toto je zrejmé najmä v prípade knižníc univerzít a technických univerzít. Výsledky pre tieto knižnice možno považovať za reprezentatívne a odrážajúce javy a zmeny v tejto kategórii knižníc. Pokiaľ ide o ostatné kategórie knižníc, údaje nemožno považovať za reprezentatívne, pretože sa ich na prieskume zúčastnilo len málo.

Tabuľka 1 Počet dotazníkov overených v rokoch 2002 – 2006

Nemožno si nevšimnúť veľký rozdiel medzi počtom zaregistrovaných knižníc a počtom knižníc overených dotazníkom. V roku 2003 bolo zaregistrovaných 57 knižníc, z čoho 29 malo v roku 2003 overený dotazník. Naproti tomu v roku 2005 bolo zaregistrovaných 57 knižníc, z čoho 44 malo overený dotazník.

Toto možno pripísať ťažkostiam, s ktorými sa knižnice stretávali pri vypĺňaní dotazníka, a to:

• absencia štatistických údajov potrebných na vyplnenie dotazníka,
• absencia porovnávacích údajov o používaní elektronických zdrojov (rozdiely v štatistike, ktorú generujú poskytovatelia),
• rôzne organizačné štruktúry a modely financovania vzdelávacích entít,
• ťažkosti s overovaním dotazníkov – chyby vyžadujúce opravu, neporozumenie údajom, nesprávny výklad otázok.
• účasť na projekte závisí od dobrej vôle riaditeľov.

Využitie výsledkov prieskumov

Už sme spomenuli, že každá zaregistrovaná knižnica, ktorá vyplnila dotazník, dostane 67 automaticky vypočítaných ukazovateľov. Okrem toho je tu možnosť využitia modulu „Analýza“ (obr. 1), ktorý umožňuje knižnici vidieť a analyzovať svoje vlastné údaje podľa rokov, kategórií otázok alebo ukazovateľov. Okrem toho môže knižnica porovnávať svoje výsledky so strednými hodnotami výsledkov v celoštátnom rozsahu.

Obr. 1 Modul pre knižnice zaregistrovaný v Projekte – viachľadisková analýza

Obr. 2 Výsledky analýzy

Tieto výsledky sa prezentujú vo forme hodnoty aritmetického priemeru, hodnoty mediánu alebo maximálnej a minimálnej hodnoty pre danú skupinu knižníc. Tak môže knižnica kedykoľvek preskúmať svoje vlastné údaje a porovnať ich so strednými hodnotami pre kategóriu univerzitných knižníc alebo pre kategóriu „všetkých akademických knižníc“ (obr. 2).

Analýza dát sa môže týkať jedného roka alebo obdobia viacerých rokov, samozrejme, pokiaľ knižnica predkladala dotazníky od samého začiatku. Porovnanie dát a ukazovateľov, ktoré dosiahla konkrétna zúčastnená knižnica, so strednými hodnotami ukazovateľov pre danú kategóriu knižníc poskytuje užitočný nástroj na riadenie. Každá knižnica pracuje v inom prostredí, má iné vnútorné podmienky pre činnosť a iných používateľov. Výpočet ukazovateľov pre danú kategóriu umožňuje objektívne vyhodnotenie, pričom sa eliminujú rozdiely, ktoré sú často mimo kontroly knižníc. Získané údaje a závery, ktoré z nich vyplývajú, môžu mať zásadný význam pri stanovovaní úloh, definovaní priorít a predvídaní rizík. Okrem toho možno analyzovať údaje vlastnej knižnice v rozpätí niekoľkých rokov a porovnávať vývoj a kvalitu rôznych knižničných služieb.

Skupina pre normalizáciu, ktorá vydáva výročné správy, má širšie možnosti využitia výsledkov projektu. Táto skupina vypracúva na základe ukazovateľov porovnávaciu analýzu výkonu vedeckých knižníc, ktorá sa potom zverejní na webovej stránke projektu v odseku Wyniki badań (Výsledky prieskumov).

Tieto výsledky prieskumov, ktoré sú verejne prístupné, môžu výhodne využiť všetci pracovníci zainteresovaní na práci vedeckých knižníc v Poľsku. Existujú však štyri hlavné kategórie zákazníkov, pre ktorých sú tieto výsledky určené:

• zaregistrované knižnice, ktoré predložili dotazníky,
• Pracovná skupina pre normalizáciu,
• knihovníci – praktici i teoretici,
• inštitúcie, ktoré hodnotia knižnice.

Kolektívna analýza dát dostupná verejnosti na webovej lokalite projektu obsahuje údaje:

• ukazovatele z dotazníkov (vypočítané predkladateľmi),
• ukazovatele, ktoré vypočítal program automaticky,
• percentuálny podiel rozpočtových nákladov,
• údaje rozpísané podľa kategórií knižníc,
• výsledky: aritmetický priemer, medián, maximálna a minimálna hodnota.

Ukazovatele, aj percentuálne aj numerické, sú vyjadrené ako aritmetický priemer, medián⁶ a maximálna a minimálna hodnota. Maximálna a minimálna hodnota umožňujú porovnávať údaje pre vlastnú knižnicu s lepšími alebo s horšími výsledkami v špecifickej kategórii knižníc. Niektoré numerické údaje (napríklad počet publikácií vydaných vlastnou knižnicou) sú vyjadrené len ako maximálna a minimálna hodnota. Odpovede typu áno/nie sa vyjadrujú ako percento kladných odpovedí. Tvorbe kolektívnych správ predchádza starostlivá korekcia všetkých dotazníkov a konzultácie so všetkými knižnicami, ktoré sa dopustili chýb. Výsledky prieskumov sú uvedené v tabuľkách, a to pre tieto kategórie knižníc:

• štátne akademické knižnice celkom a podľa rôznych jednotlivých typov,
• neštátne akademické knižnice,
• verejné knižnice,
• iné knižnice.

Analýza zohľadňuje všetky ukazovatele, ktoré knižnice poskytli v dotazníkoch, ako aj ukazovatele, ktoré vypočítal počítačový program automaticky, a to:

všeobecné ukazovatele (napríklad počet zaregistrovaných používateľov ako percento potenciálnych používateľov, počet používateľov/študentov na jedného pracovníka knižnice, plocha knižnice na jedného používateľa/študenta, počet používateľov na jedno miesto v študovni, počet počítačov vzhľadom na počet používateľov/študentov a na otváracie hodiny knižnice);

výdavky (napríklad celkové výdavky, výdavky na nákup fondu, kníh, elektronických prameňov a softvéru na jedného používateľa/študenta, percentuálny podiel výdavkov na elektronické pramene na výdavkoch na fondy, percentuálny podiel rozpočtových príjmov a percentuálny podiel výdavkov na prebiehajúcu činnosť);

• ukazovatele týkajúce sa fondov (počet kníh, prírastky, spracovanie);
• ukazovatele týkajúce sa služieb a ich využívania (výpožičky, referenčné služby, školenie);
• ukazovatele týkajúce sa pracovníkov, organizačnej štruktúry a profesijnej činnosti;
• služby katalógu poskytované na diaľku, vlastné publikácie, spolupráca medzi knižnicami, podujatia.

Už sme uviedli, aké výhody prináša knižniciam vypĺňanie dotazníkov. Verejne prístupné ročné analýzy sú užitočné najmä pre pracovníkov vo výskume. Okrem toho ich možno použiť aj na prezentáciu rôznych entít s informáciami vo vedeckých knižniciach.

Cieľom Pracovnej skupiny pre normalizáciu je, aby inštitúcie, ktoré vyhodnocujú prácu knižníc, využili výsledky projektu. Použitie ukazovateľov, ktoré sú dôležité pre prácu knižníc, sa odporučia autorom hodnotenia pre Poľsko, ktoré sú publikované v tlači.

Plánujú sa aj zmeny formulárov ÚŠÚ, aby vyhovovali medzinárodným odporúčaniam a aby zodpovedali aktuálnej činnosti vedeckých knižníc.

Údaje, ktoré sa naakumulovali počas prvých piatich rokov projektu, už teraz umožňujú prvé všeobecné závery a ilustrujú niektoré trendy poľských vedeckých knižníc. Ak má niektorý účastník o túto vec záujem, odporúčame mu prezentáciu na konferencii Knižnice Technickej univerzity v Lodži „Knižnice vo vzdelávaní a výskume“.⁷

Rastúci záujem o prácu skupiny umožňuje nové iniciatívy. Plán Pracovnej skupiny pre normalizáciu obsahuje body:

• spracovanie  domácej skupiny  ukazovateľov výkonu podľa normy ISO 11620,
• prieskum spokojnosti používateľov na základe štandardného dotazníka,
• formulovanie celoštátnej skupiny noriem a definícií ukazovateľov pre každú z nich.

Jedným z dôležitých cieľov skupiny je podpora projektu tak, aby knihovníci porozumeli výhodám využívania opísaných nástrojov teraz i v budúcnosti.

Elżbieta Górska
Poľská asociácia knižníc

Bibliografia:

Derfert-Wolf, L.: Projekt Tempus JEP UM 13242 „Development of library management as a part of the university total quality management“ (Rozvoj manažmentu knižníc ako súčasť celkového riadenia kvality na univerzite). Medzinárodná konferencia, Bydgoszcz-Gniwew, 10. – 13. septembra 2000. In: EBIB Conference Proceedings (Zborník z konferencie EBIB). Prístupné na adrese:
http://ebib.oss.wroc.pl/matkonf/atr/indexen.html   (prístupná od 18. 8. 2008)

Badania porównawcze polskich bibliotek naukowych. Materiały z konferencji (Kraków,19-21 września 2001). Oprac. red. Anna Sokołowska-Gogut; Biblioteka Główna Akademii Ekonomicznej w Krakowie.

Derfert-Wolf, L., Dobrzyńska-Lankosz, E., Dziadkiewic, W., Górny, M., Górska, E., Górski, M., Jazdon, A., Sokołowska-Gogut, A. and Wildhardt, T.: 2003, Performance indicators and Standards for Polish Research Libraries (Ukazovatele výkonov a normy pre poľské vedecké knižnice). Library&Information Research, zv. 27, č. 87, s. 17-28.

Derfert-Wolf, L., Górski, M., Marcinek, M.: (2005) Quality of academic libraries-funding bodies, librarians and users perspective: common project of Polish research libraries on comparable measures (Kvalita orgánov financujúcich akademické knižnice z hľadiska knihovníkov a používateľov. Spoločný projekt poľských vedeckých knižníc o porovnateľných meraniach.) In: Zborník IFLA Council and General Conference (71., Oslo:2005). Dostupné na adrese: http://www.ifla.org./IV/ifla71/papers/080e-Derfert-Wolf.pdf   (prístup od 25. 8. 2008)

1 http://www.pka.edu.pl/index.php   (prístupné od 18. augusta 2008)

2 Ustawa o bibliotekach (zákon o knižniciach) (Dz.U.97.85.539)

3 Ustawa Prawo o szkolnictwie wyższym (zákon o vyššom vzdelávaní z 27. júla 2005) (Dz.U.2005.164.1365)

4 Dotazník pre verejné knižnice obsahuje 44 otázok a 51/8 ukazovateľov

5 Bol vytvorený na Technicko-poľnohospodárskej akadémii Bydgoszcz. Vedúci: L. Derfert – Wolf. Autori programu: M. Sierakowski, P. Rosiak.

6 V prípade, ak dáta pochádzajú aspoň z troch knižníc.

 7  Derfert-Wolf, L., Górski, M: Projekt: An analysis of the performance of research libraries in Poland (AFBN) as tools for assessing the effectiveness and quality of library and information services (Analýza výkonu výskumných knižníc v Poľsku (ABN) ako nástroj na vyhodnocovanie efektívnosti a kvality knižnici a informačných služieb). III. konferencia Knižnice Technickej univerzity v Lodži (25. – 27. 6. 2008) Knižnice vo vzdelávaní a výskume.
    http://212.51.210.133/osc/index.php/kbpl/2008/schedConf/program   (prístupné od 18. 8. 2008).