Dołącz do czytelników
Brak wyników

Kierunek rozwój

30 listopada 2020

NR 19 (Listopad 2020)

Jak badać efektywność działań rozwojowych Błędy, paradoksy i praktyczne wskazówki

36

Kluczem do efektywnego działania obszaru learning and development jest racjonalne i zrównoważone podejście, pozwalające ocenić powiązanie podejmowanych działań z celami organizacji.

Branża szkoleniowa oraz obszar szkoleń i rozwoju są pełne paradoksów. Z jednej strony na rynku rozwojowym wciąż sporą popularnością cieszą się różnego rodzaju „szamani biznesu”, których teorie i poglądy są całkowicie oderwane od potrzeb większości firm. Szkoły „trenerów biznesu” rozpoczynają swoje zajęcia od tzw. treningów interpersonalnych, których przydatność jest, delikatnie rzecz ujmując, wątpliwa. Działy HR nadal kupują programy rozwojowe kompletnie niepowiązane z celami organizacji, nie przejmując się ewaluacją podjętych działań. Trenerzy wymyślają coraz nowsze i bardziej egzotyczne narzędzia rozwojowe. W efekcie, bez większych problemów znajdujemy na rynku programy rzekomo rozwijające osobowość menedżerów, poprzedzone diagnozą MBTI, których celem jest podniesienie poziomu sprzedaży w podległych im zespołach. I nikt nie zastanawia się, czy te programy mają jakikolwiek sens. 
Z drugiej zaś strony w obszarze szkoleń podejmowane są wręcz szaleńcze próby wykazania, że szkolenia się opłacają i przynoszą organizacji zyski. ROI, czyli zwrot z inwestycji, w tym przypadku ze szkolenia, stał się wręcz Świętym Graalem obszaru learning and development. Właściwie na każdej konferencji na temat rozwoju pracowników usłyszmy o modelu ROI, który został opracowany przez Patricię oraz Jacka Philips, nie wspominając już o klasycznym modelu Kirkpatricka. Oczywiście, poszerzonym o piąty poziom – ROI. 
Oba te podejścia w środowisku biznesowym wydają się dysfunkcjonalne. Zarówno całkowity brak ewaluacji, jak i przesadna próba udowodnienia opłacalności szkoleń utrudniają działom HR (i dostawcom usług szkoleniowych) efektywną realizację i poprawę procesów mających na celu rozwój pracowników. 

POLECAMY

Problemy z modelem ROI

Po pierwsze, model ROI zakłada, że szkolenia powinny być traktowane jako inwestycja, nie zaś jako koszt. Oczywiście, wszyscy intuicyjnie rozumiemy, że ludzie są najważniejsi w firmie, a ich rozwój jest niezbędnym warunkiem rozwoju biznesu. Dlatego bardzo łatwo przychodzi nam zaakceptowanie tego założenia. W praktyce powoduje ono jednak więcej problemów niż można by się spodziewać. Jeśli założymy, że inwestujemy w szkolenia i oczekujemy zwrotu z tej inwestycji, to natychmiast pojawiają się pytania:

  • Jak dużego zwrotu oczekujemy?
  • Kiedy jest on zadowalający, a kiedy nie? 
  • Czy zwrot z inwestycji w program dla menedżerów na poziomie 50% to dużo czy mało?
  • Czy mamy do czynienia ze złym programem, jeśli korzyści z niego wynikające pozwoliły zaledwie na pokrycie jego kosztów?

Przecież kompetencje pozostały, będą pracować dla naszej firmy dalej. Jeśli traktujemy szkolenie jako inwestycję, to przed wdrożeniem programu szkoleniowego powinniśmy porównać zakładany zwrot ze szkoleń z innymi inwestycjami, jakie mamy do wyboru. Pojawią się więc pytania typu: czy szkolić pracowników, aby osiągnęli wyższą efektywność, czy może kupić dodatkową maszynę? Szkolić handlowców, czy zatrudnić dodatkową osobę do wsparcia sprzedaży? Ale jak to, kupować maszyny z budżetu szkoleniowego… Tego typu pytania i wątpliwości są naturalną konsekwencją przyjęcia modelu ROI w szkoleniach.
Co gorsza (sic!), może się okazać, że szacowane ROI jest bardzo wysokie, np. kilkaset procent. Wyobraźmy sobie szkolenie dla kadry sprzedażowej w dużej firmie przynoszącej rocznie 20 mln zysku. 

Przykład

Załóżmy, że program rozwojowy pozwolił podnieść wyniki sprzedaży zaledwie o 2% i kosztował 100 000 zł. ROI, liczone zgodnie z podejściem Phillipsów, wynosi w tej sytuacji (400 000 zł – 100 000 zł) / 100 000 zł x 100% = 300%. I z jednej strony to świetna wiadomość. Z drugiej, spróbujmy te wyliczenia przedstawić dyrektorowi finansów. Ku naszemu zdziwieniu możemy wcale nie zobaczyć zadowolenia na jego twarzy. Josh Bersin przytacza w swojej książce ciekawą anegdotę na ten temat, która w swojej wręcz bliźniaczej wersji wydarzyła się również w jednym z polskich banków. Dyrektor szkoleń, po zaprezentowaniu wyliczeń wskazujących na kilkusetprocentowy zwrot z inwestycji w program rozwojowy, zamiast słów uznania usłyszał kąśliwe pytanie o to, czy firma powinna się przebranżowić, skoro przeciętny zwrot z większości inwestycji w ich branży waha się od 6 do 10%. 


Paradoksalne? Wcale nie.

Ważne

Szkolenia są jednym z najszerzej oddziałujących narzędzi, jakie możemy sobie wyobrazić we współczesnym biznesie. Najczęściej prowadzone są dla kluczowej kadry, która ma duży wpływ na wynik organizacji. Są również stosunkowo tanie, a przynajmniej, jeśli porównamy je do nakładów na wynagrodzenia. 


W teorii należy się spodziewać bardzo dużych zwrotów ze szkoleń. Wszak za niewielki ułamek rocznego wynagrodzenia, dajmy na to kluczowych menedżerów, możemy wygenerować znaczący wzrost zysków, za które ci menedżerowie są odpowiedzialni. Nie powinno nas więc dziwić, że szkolenia mogą dać zwrot na poziomie 300–500%.
W praktyce działa to zupełnie inaczej. Działy szkoleń wciąż próbują udowodnić, że szkolenia są potrzebne i budżety szkoleniowe nie powinny być pierwszym wydatkiem, który jest obcinany w czasie kryzysu. Dlaczego tak się dzieje? Ponieważ model ROI dla szkoleń przyjmuje fundamentalnie błędne założenie. Szkolenia nie są inwestycją. Są kosztem. Tak samo jak kosztami są: system ERP, dział BHP, 
Kadry i każda inna funkcja wspierająca. Czy ktoś liczy ROI z BHP lub ROI z Kadr? 
Szkolenia to funkcja wspierająca. Jest więc centrum kosztów, które powinno optymalizować sposób, w jaki wykorzystuje swój budżet. Udawanie, że jest inaczej, jest błędem i prowadzi do wielu problemów, których zaledwie część zasygnalizowałem powyżej. 

Podejście Kirkpatricka

Według badań prowadzonych w 2010 r. przez KnowledgeAdvisors, model Kirkaptricka jest najczęściej stosowaną metodą ewaluacji szkoleń. Jednak mimo swojej popularności jest stosunkowo mało użyteczny w praktyce biznesowej. Dla porządku przypomnę tylko, że podejście to zakłada ocenę szkolenia na czterech poziomach:
 

  1. Poziom pierwszy odnosi się do satysfakcji uczestników z różnych aspektów zajęć, w których brali udział.
  2. Poziom drugi to poziom uczenia, na nim sprawdzane jest, na ile wiedza i umiejętności zostały przyswojone przez uczestników programu.
  3. Poziom trzeci odnosi się do zastosowania wiedzy w praktyce, czyli do faktycznych zachowań w środowisku pracy.
  4. Poziom czwarty to poziom rezultatów biznesowych.


W nowszych wersjach modelu pojawia się również poziom piąty, wspomniany wcześniej ROI. Nie będę rozwijał tutaj szerzej koncepcji Kirkpatricka oraz tego, jak zmieniała się przez lata. Czytelnika zainteresowanego tym tematem odsyłam do doskonałego przeglądu Jacka Woźniaka w jego książce Ocenianie efektów szkolenia, czyli metody i problemy ewaluacji. Skupię się natomiast na kilku krytycznych uwagach, które sprawiają, że model ten nie jest użyteczny we współczesnych organizacjach. 

  1. Kirkpatrick w swoim podejściu nie proponuje nam prawdziwego modelu efektywności szkoleń. Z czterech poziomów bynajmniej nie wynika, w jaki sposób szkolenia przekładają się na wyniki biznesowe. Między poszczególnymi poziomami nie ma relacji przyczynowo-skutkowej. Zadowolenie uczestników wcale nie musi prowadzić do lepszych wyników w nauce. Zdobyta zaś wiedza nie musi przekładać się na zmianę realnych zachowań, a zachowania na wskaźniki biznesowe. Kirkpatrick proponuje nam cztery wymiary, które warto zmierzyć, jednak ustawianie ich w hierarchię, albo – co gorsza – ocenianie organizacji (działów HR) przez pryzmat tego, na jakim poziomie dokonują ewaluacji, jest całkowitym nieporozumieniem. Ta słabość podejścia Kirkpatricka, oprócz tego, że jest ciekawa z naukowego i metodologicznego punktu widzenia, ma fundamentalne znaczenie dla praktyki zarządzania szkoleniami. Wiedza o tym, jak dane szkolenie wypadło na niższym poziomie, nie pozwala nam w żaden sposób przewiedzieć jego wyników na poziomie wyższym (i odwrotnie), co w konsekwencji nie pozwala nam przewidzieć w żaden sposób rezultatów biznesowych. W tym kontekście właściwie niemożliwe jest sensowne zagregowanie ocen na poszczególnych poziomach, a co za tym idzie, porównanie szkoleń między sobą. A to już ma potężne znaczenie dla budżetowania szkoleń i oceny dostawców.
     
  2. Drugą słabością tego podejścia, na którą chciałbym zwrócić szczególną uwagę, jest to, że skupia się ono na ewaluacji samego szkolenia. Jest to podejście, w którym oceniamy jakość zajęć przeprowadzonych w naszej firmie. Całkowicie ignorowany jest natomiast fakt, że działania szkoleniowo-rozwojowe są traktowane we współczesnych firmach jako funkcja usługowa, dostarczająca wartości poprzez odpowiednio zdefiniowany proces. Szkolenie jest jedynie częścią tego procesu, który obejmuje również analizę potrzeby szkoleniowej, projektowanie szkolenia, zapewnienie zgodności z celami biznesowymi, dostarczenie szkolenia czy wsparcie we wdrożeniu wiedzy w codzienną pracę. Może się więc okazać, że szkolenie, które zostało doskonale ocenione na trzech pierwszych (lub nawet czterech) poziomach, nie zostanie dobrze przyjęte przez wewnętrznego klienta. 
     

Przykład

Popatrzmy na przykład firmy ubezpieczeniowej, która w czasie pandemii Covid-19 wprowadza rewolucyjny produkt: nowoczesne ubezpieczenie od zachorowania. Produkt ma szansę podbić rynek, firma jest pierwsza, jednak sama umowa dla klienta oraz struktura produktu są bardzo skomplikowane. Przeszkolić trzeba 900 agentów rozsianych po kraju. W podejściu Kirkpatricka trzydniowe szkolenie dla sprzedawców, wzbogacone o grywalizację, które pozwoli im zdobyć ekspercką wiedzę, zostanie świetnie ocenione. Co więcej, szacowane ROI z takiego szkolenia będzie bardzo duże. Problem jest jednak jeden: jeśli pomijamy myślenie o całym procesie i skupiamy się na ocenie szkolenia, to zapominamy o tym, że przeszkolenie 900 osób zajmie nam trzy miesiące, a przygotowanie takiego szkolenia wraz z grywalizacją pewnie kolejne dwa lub trzy. Mamy więc pół roku. Z perspektywy menedżera odpowiedzialnego za sprzedaż tego produktu w czasie pandemii jest to całkowicie bezużyteczne szkolenie, które nie wspiera jego celów biznesowych

 

Koncentracja na samej efektywności eventu szkoleniowego, z pominięciem procesowego charakteru działań rozwojowych w firmach, prowadzi w konsekwencji do błędnego definiowania celów szkoleniowych. Ostatecznym celem szkolenia nie jest jego efektywność w przekazywaniu wiedzy. Celem tym jest dostarczenie wartości do innych procesów biznesowych, czasem nawet kosztem efektywności nauki i stosowania wiedzy. 
 

W opisywanym przykładzie z biznesowego punktu widzenia dużo lepszym rozwiązaniem byłoby natychmiastowe wysłanie do agentów pliku tekstowego z opisem produktu oraz przeprowadzenie rygorystycznego testu wiedzy w kilka dni po wysyłce. W ten sposób uczestnicy działania rozwojowego otrzymaliby kluczowe informacje o produkcie zaledwie w kilka dni od decyzji o wdrożeniu produktu na rynek. Oczywiście ich satysfakcja z procesu uczenia się byłaby znacznie mniejsza, jednak firma osiągnęłaby swój cel związany z szybkim rozpoczęciem sprzedaży. 


W poszukiwaniu efektywnego modelu ewaluacji

Poznaliśmy już słabości dwóch najpopularniejszych podejść do ewaluacji szkoleń. W dalszej części artykułu podzielę się wskazówkami i pomysłami na to, w jaki sposób zaprojektować ewaluację działań rozwojowych w organizacji. Nie pokażę tutaj całościowego modelu, uważam bowiem, że każda organizacja musi zbudować taki model samodzielnie, na własny użytek. Będą to raczej kluczowe elementy, które bazując na moim doświadczeniu oraz dostępnej literaturze, uważam za wartościowe. Duża ich część jest spójna z koncepcją Impact Measurement Framework, zaproponowaną przez cytowanego już tutaj Josha Bersina. 

  1. Ewaluacja służy podejmowaniu decyzji
    System ewaluacji szkoleń jest dobry tylko wtedy, gdy pozwala na podjęcie działań korekcyjnych. Na podstawie zebranych danych powinniśmy potrafić wyciągnąć wnioski na przyszłość, wdrożyć ulepszenia. Jeśli z danych nie wynika, co mamy robić inaczej, to znaczy, że źle zaprojektowaliśmy ewaluację. 

Przykład

Popatrzmy na prosty przykład typowego pytania z ankiety ewaluacyjnej: „Wysoko oceniam jakość prezentacji multimedialnej trenera” [skala 1–5]. Załóżmy, że jeden z trenerów ma wynik 3,5, a drugi 4,6. Czy wiemy, co powinniśmy zmienić? Jak drugi trener powinien poprawić prezentację? Tego typu pytania nie pozwalają nam na wyciągnięcie praktycznych wnio...

Pozostałe 70% treści dostępne jest tylko dla Prenumeratorów

Co zyskasz, kupując prenumeratę?
  • 6 wydań magazynu "HR Business Partner"
  • Dostęp do wszystkich archiwalnych artykułów w wersji online
  • Możliwość pobrania materiałów dodatkowych
  • ...i wiele więcej!
Sprawdź

Przypisy