Par mācību efektivitātes novērtēšanu
Mācību ieguvumu efektivitāte ir atkarīga no lineāras cēloņu ķēdes, ko veido vairāki aspekti:
* veids, kā organizācijā nosaka mācību vajadzības un mērķus,
* kā dalībniekiem paziņo par mācībām,
* kā dalībnieki apmeklē mācības,
* vai tiek nodrošināta mācīties veicinoša vide (vieta, telpas, laiks, pusdienas, gaiss, apgaismojums, siltums),
* vai pasniedzēja profesionalitāte un metodoloģijas izvēle izvirzītajiem mērķiem un sagaidāmajiem ieguvumiem,
* vai dalībniekiem ir vēlme/motivācija izmēģināt un izmantot mācību ieguvumus darbā,
* vai organizācijā mācību un attīstības jautājumiem ir sistēmiska pieeja biznesa stratēģijas kontekstā,
* vai uzņēmumā kopumā ir raksturīga mācības atbalstoša kultūra,
* vai tiešais vadītājs ir motivēts un kompetents atbalstīt darbinieku ieviešot mācību ieguvumu darbā.
Katrā no šiem posmiem ir veicinoši vai traucējoši faktori, kas var spēcīgi ietekmēt gan centienus novērtēt mācību efektivitāti, gan to ietekmi uz biznesa rezultātiem.
Donalda Kirkpatrika mācību novērtēšanas modelis
Starp daudzajiem mācību novērtēšanas modeļiem šis modelis joprojām saglabā savu pielietojamības vērtību.
Katram šī modeļa līmenim ir atbilstošas novērtēšanas metodes. Visi līmeņi ir vienlīdz svarīgi un katra līmeņa vērtējumam ir mērķis atklāt informāciju, kas svarīga gan mācību ieguvumu novērtēšanai, gan mācību programmu turpmākai uzlabošanai, gan visas organizācijas mācību stratēģijas izvērtēšanai.
Kirkpatrika modelis ietver savstarpēji saistītus četrus līmeņus mācību rezultātu novērtēšanā:
* I līmenis Reakcija
* II līmenis Mācīšanās
* III līmenis Uzvedība
* IV līmenis Rezultāti
I līmenis Reakcija
Šajā līmenī mērķis ir novērtēt dalībnieku reakciju un apmierinātību attiecībā uz mācībām tūlīt pēc programmas. Tas nozīmē ne tikai vispārīgu dalībnieku reakciju uz visu programmu (piemēram, vai jums patika programma?), bet gan arī uz atsevišķiem programmas aspektiem – pasniedzēja kompetence un prezentācijas stils, satura tēmas, metodoloģija, laika plāns, vieta utt. Katru no šiem aspektiem var sadalīt novērtēšanai vēl sīkākos komponentos.
Novērtēšanai šajā līmenī var izmantot
1. aptaujas, formulējot apgalvojumus un iekļaujot vērtējuma skalas ( piemēram, 1-5, 1-10; pilnīgi nepiekrītu, drīzāk nepiekrītu, nepiekrītu, piekrītu, drīzāk piekrītu, pilnīgi piekrītu u.tml.)
2. jautājumus, piemēram, „Kuras bija, Jūsuprāt, būtiskākās vājās lietas programmā?”, „Kuras bija, Jūsuprāt ,veiksmīgākās lietas programmā”.
3. aptaujas anketas ar jau sagatavotiem atbilžu variantiem, no kuriem ir jāizvēlas viens vai vairāki atbilžu varianti,
4. komentāri dažādi formulētiem apgalvojumiem.
Pārsvarā šīs aptaujas veic anonīmi, lai iegūtu pēc iespējas atklātāku informāciju.
Šī līmeņa novērtēšanas ieguvumi:
* iespēja uzzināt dalībnieku domas un sajūtas par programmu,
* ieteikumi programmas satura uzlabojumiem,
* pasniedzēja snieguma novērtējums,
* informāciju par programmas dalībnieku pašu motivāciju un aktivitāti,
* informācija par nepieciešamajiem uzlabojumiem citos programmas aspektos.
II līmenis Mācīšanās
Šī līmeņa mērķis ir noteikt, ko dalībnieki ir iemācījušies programmas laikā. Novērtējumu arī veic programmas noslēgumā, īpaši koncentrējoties uz programmā definēto mērķu ietvaru.
Iegūto zināšanu novērtēšanā izmanto sasniegumu testus (standartizētus vai speciāli izstrādātus), kuros dalībniekiem jāsasniedz noteikts rezultāts, balstoties uz mācību mērķiem. Piemēram, mācību programmā par finanšu vadības pamatiem vadītājiem pēc mācībām ir jāzina finanšu pamatjēdzieni, jāsaprot uzņēmuma bilance, jāveic vienkāršots peļņas/zaudējumu aprēķins.
Lai šādi pārbaudes darbi būtu efektīvi, to sagatavošanā un izmantošanā jāņem vērā vairāki kritēriji, piemēram, kāds ir dalībnieku iepriekšējās sagatavotības līmenis attiecīgajā jomā, vai testa jautājumi patiesi mēra mācību programmā ietverto saturu, vai nav ietverti pārāk grūti/viegli jautājumi utt.
Zināšanas var novērtēt arī biznesa simulācijās un situāciju analīzes vingrinājumos. Šajā gadījumā tiek izstrādāti noteikti snieguma kritēriji un dalībniekam tiek sniegta strukturēta atgriezeniskā saite
Iemaņu novērtēšana balstās uz dalībnieka spēju demonstrēt, ko viņš/a iemācījies programmas laikā. Nebūs problēmu ar tehnisko iemaņu novērtēšanu (piemēram, datorprogrammas MS Excel apguve lietotāja līmenī, lai kursa dalībnieks pēc mācībām varētu brīvi darboties ar dažādu tabulu, grafiku izveidi, izmantot formulas utt.)), kur skaidri var novērtēt, kā dalībnieks spēj demonstrēt apgūtās iemaņas praksē.
Turpretī uzvedības iemaņas ir grūtāk novērtējamas, jo katra situācija saskarsmē ar cilvēkiem ir unikāla. Vienkāršāk novērtēt tādu apgūto iemaņu efektivitāti, kā prezentēšanas iemaņas, klientu apkalpošanas un pārdošanas sarunas vadīšanas iemaņas pa telefonu, iemaņas sarunas vadīšanai ar darbinieku u.c. Sarežģītāk būs novērtēt, piemēram, laika, stresa, konfliktu vadīšanas iemaņas.
Mācību ieguvumu novērtēšana II līmenī var palīdzēt interpretēt III līmeņa novērtēšanu (ja III līmenī rezultāti ir vāji, tas var būt saistībā ar darba vietas faktoriem un nav saistīti ar mācību programmu.)
Pieredze rāda, ka vairums organizācijas arī apstājas pie II līmeņa novērtēšanas. I un II līmeņa novērtēšana ir vienkārša, tā neprasa daudz laika un to ir vienkārši administrēt.
Savukārt, III līmenī vērtēšana prasa ilgāku laika periodu un intensīvu vadītāja iesaistīšanos.
III līmenis Uzvedība
III līmeņa novērtēšana specifiski ietver zināšanu un iemaņu pārnešanu no mācību konteksta darba vidē. Novērtēšanas mērķis ir noskaidrot, vai mācību programmas dalībnieki mācīšanās rezultātā spēj izmantot jaunas zināšanas un uzvedības modeļus darbā. Ja uzvedības maiņa nenotiek, tad, protams, jūs vēlaties noskaidrot – kādēļ?
Vērtējumam III līmenī ir svarīgi I un II līmeņa vērtēšanas rezultāti, jo dalībnieki būs motivēti un spēs pielietot iemācīto atgriežoties savās darba vietās tikai tad, ja viņiem būs bijusi pozitīva attieksme pret mācībām (I Līmenis) un viņi būs iemācījušies plānotās nepieciešamās lietas (II Līmenis).
Taču, tūlīt jāatgādina vissvarīgākais, ka mācīšanās ieguvumi tiks pārnesti reālajā darbā tikai tad, ja darbā apstākļi un vide būs atbalstoša un motivējoša (tiešais vadītājs un citi, ar ko viņš/viņa sadarbojas, atbalsta un veicina dalībnieka jaunās uzvedības pielietošanu darbā - palīdz, uzmundrina, iedrošina, uzslavē, dod brīvāku rīcību un uztic atbildību, paaugstina atalgojumu un izsaka cita veida atzinību).
Svarīga ir arī paša dalībnieka motivācija izmantot savas zināšanas, iemaņas, attieksmi – vai patīk tas, ko iemācījās un ir vēlme izmēģināt jaunās uzvedības darbā, vai spēj saskatīt, kā tas palīdz uzlabot darba izpildi.
Kā īstenot III līmeņa novērtēšanu?
1)Pirms mācībām vadītājs kopā ar padoto nosaka mācīšanās mērķus, iespējams, balstoties uz attīstības sarunu rezultātiem, kompetenču mērījumiem utt., taču jebkurā gadījumā vadītājam varētu palīdzēt arī pavisam vienkārša formula - izanalizēt visu darba procesa posmus un katrā no tiem uzdot trīs jautājumus un noformulēt atbildes:
* Kas darbiniekam nepieciešams sākt darīt, ko viņš nedara līdz šim?
* Kas darbiniekam ir jāpārtrauc darīt, ko viņš dara līdz šim?
* Kas darbiniekam jādara savādāk tajā, ko viņš ir darījis līdz šim?
* Pēc programmas (atvēlot pietiekami daudz laika jaunās uzvedības ieviešanai darbā) noskaidrot līdzīgus jautājumus:
* Vai darbinieks ir sācis darīt to, ko viņš nedarīja līdz šim?
* Vai darbinieks ir pārtraucis darīt to, kas bija jāpārtrauc?
* Vai viņš dara savādāk to, kas bija jāmaina?
(Protams, jūs varat iedomāties, kādus resursus un kompetenci tas prasa no vadītāja! Taču – tas ir vadītāja darbs!)
2) Retrospektīvā intervija (dalībnieks, tiešais vadītājs, kolēģi, citi, ar kuriem viņš/viņa sadarbojas), kad jūs lūdzat padomāt par x uzvedību pirms un pēc mācībām, tad salīdzināt un izlemt, vai uzvedība ir mainījusies. Jums jājautā pēc specifiskiem uzvedības izmaiņu piemēriem/pierādījumiem. Jo no vairākiem avotiem jūs gūsiet pierādījumus, jo precīzāka būs liecība par darbinieka uzvedības izmaiņām darbā. Šī metode ir ļoti resursu un darbietilpīga.
3) Speciāli veidota 180/360 grādu aptauja.
III līmeņa novērtēšana ir grūtāka, jo uzvedības izmaiņas darba vietā ir grūtāk novērtēt, nekā reakciju un mācīšanos tieši pēc mācību pasākuma. Jāatvēl pietiekams laiks, lai darbinieks sāktu izmantot uzvedību darbā un savāktu par to datus.
Kā jau minēju, I un II līmeņa novērtēšana ir ļoti būtiska, jo katrs līmenis nodrošina problēmu diagnostisku. Piemēram, ja dalībnieks II līmenī nav iemācījies jaunas iemaņas, tad dalībnieka reakcija I līmenī var atklāt faktorus, kādēļ tas tā noticis. Tāpat, ja dalībnieks neizmanto jaunus uzvedības modeļus atgriežoties darbā, tad iespējams, ka dalībnieks nav iemācījies nepieciešamās iemaņas.
Ja mācās grupa, visvienkāršākais veids III līmeņa novērtēšanai, ir grupas pirms un pēc novērtēšanas dizains, t.i. vispirms novērtēt darbinieku esošo uzvedību, tad noteikt kritērijus sagaidāmajai uzvedībai mācību programmas rezultātā un pēc mācību programmas noteikta laika posma - uzvedības izmaiņu novērošanu darbā.
Iespējams izmantot arī kontroles grupu, t.i. novērtēt uzvedību darbinieku grupai pirms un pēc attiecīgās mācību programmas, kas veic līdzīgu darbu, taču otra grupa nepiedalās mācību programmā. Šī metode ir sarežģīta un tā jāizmanto uzmanīgi, jo te iesaistīti daudzi psiholoģiskie un motivācijas aspekti.
III līmeņa novērtēšanas ieguvumi:
* Nodrošina esošās uzvedības novērtēšanu darbā, nekā tikai patika/nepatika vērtējums un mācīšanās ieguvumu apstiprinājums mācību programmas beigās. Šis ir ļoti svarīgi tajā gadījumā, ja jūs patiesi vēlaties ieviest mācību programmas ieguvumus ikdienas darbā.
* III līmeņa rezultāti ir prasība, lai varētu turpināt IV līmeņa vērtēšanu.
* Daudzās situācijās I, II, III līmeņa novērtēšanas rezultāti būs pietiekama liecība mācību programmas derīgumam un efektivitātei. Patiess apliecinājums ir tad, ja visu šo līmeņu rezultāti liecina par pozitīviem mācību programmas rezultātiem.
IV līmenis Rezultāti
IV līmeņa novērtēšanas mērķis ir noskaidrot, kā mācību rezultāti ir ietekmējuši biznesa rezultātu – ieņēmumus.
Diemžēl, IV līmeņa novērtēšanā ir grūti un sarežģīti noteikt skaidrus pierādījumus tam, ka mācību programma ir vienīgais lielums, kam ir tieša ietekme uz biznesa rezultātu.
Jāatceras, ka mācību ieguvumu ieviešanai ikdienas darbā ir nepieciešams zināms laika periods. Šajā laika periodā var notikt arī dažādi citi notikumi, kuri varētu būt par cēloni dažādiem uzlabojumiem, vai gluži otrādi, pasliktinājumiem. Šo iemeslu dēļ IV līmeņa novērtēšanā iegūtās liecības parasti nav tik ticamas, kā I, II un III līmeņa liecības, kuras ir relatīvi viegli dokumentēt.
Piemēram, IV līmeņa novērtēšanā iegūtie rezultāti uzrāda
* darba kvalitātes uzlabošanos,
* augstāku ražīgumu,
* darbinieku mainības samazināšanos,
* resursu ietaupījumu,
* efektīvāku komunikāciju,
* pārdošanas rezultātu paaugstināšanos,
* sūdzību skaita samazināšanos,
* nelaimes gadījumu skaita samazināšanos,
* augstāku darbinieku un klientu apmierinātības līmeni,
* peļņas pieaugumu,
Taču ikviens var redzēt, ka katra šī uzlabojuma pamatā varētu būt arī citi aspekti.
Ja organizācijas patiešām vēlētos, lai mācību programmai būtu pozitīvi rezultāti IV līmenī, tad būtu nepieciešams šo mācību programmu veidot kā komponentu lielākā uzņēmuma darba izpildes programmas portfelī.
Svarīga ir pierādījumu datu dokumentēšana IV līmenī, kas nozīmē nozīmīgu datu savākšanu un apkopošanu noteiktos regulāros laika intervālos (par pārdošanas rezultātiem, darbinieku mainību, nelaimes gadījumu biežumu utt.). Svarīgi ir arī cita veida dati, kurus ir grūtāk iegūt un apkopot, taču kuri ir ļoti svarīgi IV līmeņa novērtēšanā - par darbinieka attieksmi, darba dzīves kvalitāti, komunikāciju, sadarbību komandā vai līderību, utt.
Protams, IV līmenī, tāpat kā III līmenī, mācību ieguvumu novērtēšanai būs nepieciešami gan lielāki finansiālie, laika un emocionālie resursi. Novērtēšanu šajos līmeņos, droši vien, nav nepieciešams veikt pilnīgi visām mācību aktivitātēm, taču vismaz stratēģiski svarīgās mācību programmas noteikti būtu jācenšas izvērtēt visos līmeņos. Tipisks piemērs šodien ir mācību projekti, kas uzņēmumos tiek realizēti ar Eiropas Fondu atbalstu. Projektos tiek tērēts ne viens vien tūkstotis latu, bet cik ir uzņēmumu, kas ir stratēģiski analizējis šo programmu mērķus un sagaidāmos ieguvumus, kā arī pēc mācībām mēģinājis novērtēt šo investīciju atdevi? Iespējams, ka būtu ļoti lietderīgi šo novērtēšanas procesu jau iekļaut projektā to tēmu vietā, kuras ļoti bieži izskatās haotiskas, pārklājas vai vienkārši ierakstītas.
Novērtēšanas plāna izstrāde
Organizācijām atmaksājas izveidot mācību novērtēšanas plānu ļoti agri, jau mācību vajadzību analīzes fāzē: kuros līmeņos jūs plānojat veikt novērtēšanu? Kādi dati būs nepieciešami, lai veiktu novērtēšanu? Kā jūs tos analizēsiet? Kas savāks nepieciešamos datus?
Gandrīz visās organizācijās, arī jūsējā, var būt vadītāji, kas skeptiski izturas pret darbinieku apmācību, kā arī esat pieredzējuši organizācijā nebeidzamas politiskas cīņas par budžeta daļu, ko atvēlēt mācībām. Ja jums ir pilnvaras atbildēt par darbinieku mācībām un attīstību, tad šajos gadījumos jūsu uzstādījums un skaidrojums vadības komandai par mācību rezultātu ietekmi uz biznesa rezultātiem var palīdzēt nostiprināt ticamību jūsu plāniem.
Vēl būtiski ir tas, kā jūs komunicējat attīstības idejas un mācību iniciatīvas uzņēmumā. Komunicējot šīs lietas uzņēmumā, ir lietderīgi norādīt, ka tiks novērtēti mācīšanās rezultāti/ieguvumi/sasniegumi un programmas ietekme uz biznesa rezultātiem. Iespējams, ka tas var palīdzēt vairāk koncentrēties gan dalībniekiem, gan vadītājiem divos aspektos: vispirms, viņi redz, ka jūs cenšaties gūt nopietnu labumu mācību rezultātā. Kā arī diez vai viņi gribēs būt grēkāža lomā, ja plānotie rezultāti izpaliks viņu pretestības dēļ.
Vēl jāpiebilst, ka nopietni pievēršoties III un IV līmeņa novērtēšanai, nedrīkst aizmirst, ka to izmanto ne tikai darbinieku apmācības, bet arī visu līmeņu vadības mācību efektivitātes novērtēšanai. Nereti uzņēmumos var novērot, ka no darbiniekiem tiek prasīta uzvedības un attieksmes maiņa, bet tajā pašā laikā ir redzams, ka vadības uzvedība nemainās.
Kopumā, runāt par mācību ietekmi uz biznesa rezultātiem ir tikai viens šaurāks aspekts, patiesībā tēma būtu jāskata plašāk – kā mācības var ietekmēt uzņēmuma kultūras un pārmaiņu procesus kopumā, un caur to atkal atgriezties pie pamata jautājuma par organizācijas mērķiem un biznesa rezultātiem.