Měření efektivity informačního vzdělávání: zpráva o pracovním semináři

V březnu letošního roku proběhl na Vysokém učení technickém v Brně závěrečný pracovní seminář pořádaný Odbornou komisí pro informační vzdělávání a informační gramotnost Asociace knihoven vysokých škol ČR (www.ivig.cz) k problematice měření efektivity informačního vzdělávání. V úvodu PhDr. Hana Landová, Ph.D., seznámila účastníky se zahraničními zkušenostmi v oblasti hodnocení dopadu informačního vzdělávání. Pak následovala cca 35 minutová prezentace Mgr. Jana Zikušky a Mgr.Gabriely Šimkové „Měření efektivnosti kurzů práce s informacemi v rámci projektu CEINVE“. V ní se s účastníky podělili o své zkušenosti z právě realizovaných kurzů, ve kterých vyzkoušeli hodnocení znalostí studentů formou pre-testu a post-testu.

Po krátké pauze následovala hlavní část programu, kterou zahájila stručným shrnutím výsledků předchozích setkání k tématu a uvedením do problematiky PhDr. Ludmila Tichá. Workshop byl zaměřený konkrétně na vytvoření vzorových otázek pre-testy a post-testů použitelných ve výuce studentů. Touto problematikou se pracovní tým Odborné komise pro informační vzdělávání a informační gramotnost na vysokých školách (IVIG) zabýval již více než rok. Na přípravě materiálů, jejich testování i připomínkování se podílely desítky učících knihovníků i studentů knihovnických oborů.

Pre-testy a post-testy jsou nástrojem na hodnocení efektivity výuky, tedy toho, co se studenti naučili. Používají se pro testování znalostí před zahájením a v závěru kurzu a nejsou vhodné pro krátké kurzy a aktivity, u kterých není dostatečný časový odstup. Při jejich tvorbě je třeba zohlednit celou řadu skutečností jako například úroveň vstupních znalostí studentů, tedy zda se jedná o studenty bakalářského, magisterského nebo doktorského stupně studia, dále jaká je srozumitelnost formulací otázek

V závislosti na studovaném oboru (to se zvláště projevilo při diskusích u otázek, které obsahovaly termíny s odlišným chápáním významu v technických a humanitních oborech – například vysvětlení termínu relevance bylo v původním zadání příliš lingvistické), do jaké míry je žádoucí u otázek využívat zavedenou knihovnickou terminologii, a konečně zda používat pro post-test stejnou nebo odlišnou sadu otázek jako pro pre-test. Tuto poslední otázku se nepodařilo jednoznačně zodpovědět ani po řadě konzultací s českými i zahraničními kolegy.

Na workshopu byly závěrečné analýze podrobeny desítky testovacích otázek, které průběžně vznikaly během předchozích měsíců.

Účastníci dolaďovali formulace otázek, nemilosrdně škrtali ty méně povedené či příliš specifické, přesunovali otázky tak, aby post-testové obtížností i obsahem odpovídaly pre-testovým. Velkým přínosem v diskusi byly příspěvky brněnských kolegů z Knihovny univerzitního kampusu i z Filosofické fakulty Masarykovy univerzity s čerstvými zkušenostmi a výsledky z předmětů, ve kterých používají k hodnocení právě pre- a post-testové dotazníky.

Výsledkem práce jak účastníků tohoto workshopu, tak i všech předchozích pracovních setkání, jsou sady otázek z pěti základních oblastí založených na standardech informačně gramotného studenta ACRL (http://www.ala.org/acrl/standards/informationliteracycompetency).

Sady testovacích otázek obsahují odborné pojmy k tématu, problematiku klíčových slov, obecné typy a formy informací, informační zdroje a práci s nimi, rešeršní strategie, hodnocení důvěryhodnosti a relevantnosti, scientometrické pojmy, otázku citování i problematiku plagiátorství. Sady jsou zpřístupněné knihovnické veřejnosti na stránkách komise IVIG spolu s doporučeními, jak je používat, i s upozorněním, že jsou pouze vzorem, inspirací pro vytváření vlastních otázek, nikoliv jediným a vyčerpávajícím zdrojem testovacích otázek.

Obecná doporučení pro testování znalostí sadami otázek, tak jak vykrystalizovala během jejich tvorby, jsou následující:

• Test by neměl trvat déle než 15-25 minut.

• Otázky musí být jasně a srozumitelně formulovány. Během jednoho testu lze používat různé typy otázek (otázky ano/ne, výběr z více odpovědí, otevřené otázky).

• Pokud jsou používány otázky, kde je výběr z více odpovědí, osvědčilo se jako jednu variantu odpovědi vždy uvádět i NEVÍM. Výsledky pak nejsou zkreslené.

• Otázky jsou srozumitelnější, pokud jsou formulovány kladně, nikoliv jako negace (chybně formulováno: „Internetové vyhledávače Vám neumožňují…“).

• Po post-testu by se měli studenti dozvědět správné odpovědi.

Ať už si pro post-testy vyberete stejné nebo různé sady otázek. než jaké byly použity pro pre-testy, vždy musí být adekvátní znalostem studentů.

Při vyhodnocení výsledků je nutné vždy přihlížet k řadě okolností, např. k tomu, zda byly testy povinné nebo dobrovolné, nebo zda stejná skupina osob odpovídala na pre-testy i na post-testy.

Na závěr zde cituji žádost kolegů z komise, kteří se na tvorbě vzorových otázek podíleli: „Váš názor na předložené testové otázky i zkušenosti s jejich použitím uvítáme. Bude to pro nás dobrá zpětná vazba k jejich úpravě či doplnění.“