Autor: Sylwester Pietrzyk

Artykuł do pobrania (PDF): Ewaluacja w ujęciu systemowym

 

 

Niniejszy artykuł powstał na podstawie szkolenia, które odbyło się w dniach 16-20 stycznia 2017 roku w Kopenhadze, w ramach projektu  „Europejskie doświadczenia SKiTZ MATRIK – transfer i kaskadowanie wiedzy” współfinansowanego z programu Unii Europejskiej Erasmus+. Jego napisanie jest jednym z elementów wywiązania się ze zobowiązań poszkoleniowych.

Przedstawiony model zwraca uwagę na całkowicie nowe podejście do oceny efektywności zarówno szkoleń jak i innych projektów szkoleniowych. Dotychczas traktowaliśmy ewaluację jako ocena zmian wywołanych przez szkolenie na uczestników i przetransferowanie ich na zachowania w organizacji. Doskonale nadawał się do tego model Kirkpatricka ze swoimi czteroetapowymi podziałami.

 

Systemowy model podejścia do ewaluacji przedstawiony w Kopenhadze stawia ten paradygmat „na głowie”. 

 

Definicja Ewaluacji umieszczona na portalu funduszy europejskich mówi, że:

Ewaluacja – to obiektywna ocena projektu, programu lub polityki na wszystkich jego etapach tzn. planowania, realizacji i mierzenia rezultatów. Powinna ona dostarczyć  rzetelnych i przydatnych informacji , pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym. Często dotyczy ona procesu określania wartości lub ważności działania, polityki lub programu.

 

Po pierwsze to na szkoleniu wprowadzono na dwa podejścia do ewaluacji. Pierwsze znane nam dotychczas czyli paradygmat naukowy. Ewaluator jest sędzią, i bada przeszłe procesy mówimy, że jest skierowany do „tyłu”, oparta jest na dowodach najlepiej materialnych oraz skoncentrowana na kontrolowaniu. Stosuje się tu głównie logikę liniową oraz bezpośrednie związki przyczynowo-skutkowe.

 

Główną metodą jest obiektywna obserwacja procesów tak dobrze nam znana w ujęciu D. Kirkpatricka. Finalnym jej efektem są wypracowane rady lub instrukcję mające prowadzić do konkretnych zmian.

 

Opisany paradygmat naukowy  powodzenie jest używany od lat w organizacjach chociaż z spotykał się z wieloma zastrzeżeniami. Odpowiedzią na jego braki może być spotykający się początkowo z naszym oporem model ewaluacji oparty o paradygmat socjologiczny. Cechuje go zmiana klasycznej roli Ewaluatora bardziej na facylitatora, czyli osoby mającej usprawniać a nie oceniać. Całe działania są ukierunkowane do przodu na pozytywne zmiany, które można zastosować w praktyce. Stosowane metody mają bardziej charakter improwizowany niż są sztywno wyznaczone. Koncentracja jest na nauce głównie poprzez działanie, niż jak poprzednio na kontroli. Stosowane metody logiczne mają charakter cyrkulacyjny/złożony niż przyczynowo-skutkowy, co odpowiada bardziej rzeczywistym sytuacjom. Kluczowe są jednak z pewnością różne podejścia do perspektywy spojrzenia. Doskonale to obrazuje proste ćwiczenie szkoleniowe, zaprezentowane na zajęciach. Silnie zderza nas ono z naszymi przekonaniami.

 

 

Ćwiczenie ABC – na rozgrzewkę.  Trzech rozmówców, A i B rozmawiają, C jest świadkiem, nastawionym na obserwację

 

Temat rozmowy:

-- projekt „ ostatnie szkolenie które prowadził lub w którym uczestniczyłem”

 

Pytania:

• Co wiesz o tym projekcie?
• Kto był w niego zaangażowany?
• Kim są użytkownicy, odbiorcy projektu?
• Jak są Twoje doświadczenie między z udziału w projekcie?

Po przeprowadzaniu ćwiczenia okazuje się, że każdą z osób biorąca w nim udział ma inną perspektywę a w związku z tym inne spostrzeżenia, mało tego dotyczą one tych samych zagadnień. Jest to dowód na to, że stosowana w ujęciu socjologicznym zmiana perspektywy ma istotny wpływ na odbiór rzeczywistości.

 

Po prostu osoba A generuje komunikat i wysyła go do osoby B, ta zaś nie może odebrać komunikatu w sposób obiektywny, ponieważ od razu interpretuje przekaz, przy pomocy swoich filtrów percepcji. Percepcja jest cechą indywidualną i wynika nie tylko z naszych doświadczeń, ale także z tego jak odbieramy osobę nadawcy i jakie mamy z nim doświadczenia i nastawienie. Odbiorca decyduje co zrobi z informacją, zgodnie z zasadą, że nie możemy zmienić innych tylko siebie.

 

To ćwiczenie pokazuje jak ważne jest angażowanie w procesy ewaluacyjne osób innych niż ewaluatorzy, szczególnie zaś interesariuszy poszczególnych procesów. Inna perspektywa odsłania całkiem nowe wnioski. Dlatego kluczowe jest pytanie jak wobec tego możemy mieć obiektywne i wiarygodne informacje z procesu.

 

Za dość istotny element oceny wymienia się też w podejściu socjologicznym samoocenę. W ujęciu naukowym jest ona praktycznie wcale nie brana pod uwagę. Tu widzimy jak silnie wpływa ona na rozwijanie refleksyjnego stylu nauki oraz utrwalenia efektów szkolenia. Celem nadrzędnym całego procesu w ujęciu socjologicznym jest uznanie zmian oraz dialog, który ma wspierać wprowadzanie zmian. 

 

Oprócz opisanych dwóch paradygmatów możemy jeszcze wymienić inne podejścia do ewaluacji: wynikowa oparta na dowodach, wydajnościowa  np. mierząca wyniki produkcyjne oraz procesowo-realizacyjna skierowana na wywołania zaangażowania wszystkich stron.

 

Ponieważ celem nadrzędnym procesu jest wywołanie zmian w interesariuszach zwraca się uwagę w jakich warunkach odbywa się cały proces. Kluczowe jest poczucie bycia wysłuchanym i zrozumianym, wręcz zauważonym. Bez silnego docenienia praktycznie nie możliwa jest zmiana czy uruchomienie procesów uczenia się. Docenianie skłania nas, ośmiela do dzielenia się nawet trudnymi zagadnieniami z innymi osobami.  Stosowanie pytań czy innej perspektywy również będzie wzmacniało efekt transferu wiedzy, umiejętności i pracy na postawie. Na końcu ważne jest danie czasu na refleksje i wyciąganie wniosków.

 

Opisane podejścia do ewaluacji otwierają przed nami nowe możliwości,  a przede wszystkim skłaniają do przełamywania własnych barier czy stereotypów. Ewaluacja w ujęciu socjologicznym zdecydowanie wzmacnia transfer Widzy po szkoleniu. Ostatecznie wiele procesów w organizacjach bardzo trudno jest zbadać paradygmatem naukowy ze względu na ich niemierzalność, brak lub wysoki koszt mierników.