Uniwersytet Warszawski, Instytut Polityki Społecznej

EWALUACJA W POLITYCE SPOŁECZNEJ

 

PROGRAM | CO NOWEGO?
 

Prowadzący: dr hab. Ryszard Szarfenberg, prof. UW - www, e-mail (wykład w semestrze zimowym), dr Przemysław Potocki (warsztaty w semestrze letnim)

Dyżury

 

Motto: ewaluacja to nie jest żadna wiedza tajemna

 

Efekty kształcenia

Po ukończeniu przedmiotu student jest przygotowany do ćwiczeń w semestrze letnim.

  1. Wyjaśnia czym jest ewaluacja odwołując się do specyfiki jej celów i funkcji, jej kryteriów oraz metod i technik.
  2. Rozróżnia i rozpoznaje różne modele i podejścia do ewaluacji oraz wybiera model odpowiedni do danych warunków.
  3. Ocenia przydatność metod i technik ewaluacji w zależności od celów ewaluacji.
  4. Oddziela i odróżnia poszczególne kroki w procedurze prowadzenia ewaluacji.
  5. Uzasadnia znaczenie standardów ewaluacji dla jej prowadzenia.
  6. Rozwiązuje proste zadania z zakresu projektowania ewaluacji.
  7. Ocenia przykłady ewaluacji pod względem ich zgodności ze standardami ewaluacji.

 

Tematyka wykładów

  1. Wprowadzenie
  2. Definicje, funkcje i cele ewaluacji na tle audytu, monitoringu i badań
  3. Ewaluacja w cyklu polityki publicznej i w pracy socjalnej – sprawność działania
  4. Metoda ewaluacji
  5. Kryteria ewaluacji – skuteczność
  6. Kryterium skuteczności – badanie wpływu projektu
  7. Kryteria ewaluacji - efektywność
  8. Kryteria ewaluacji - użyteczność, trwałość, trafność
  9. Badania, źródła danych, ich uzyskiwanie oraz prezentacja w kontekście ewaluacji
  10. Ewaluacja oparta na teorii projektu
  11. Procedura przeprowadzania ewaluacji na przykładzie modelu ewaluacji CIPP
  12. Standardy ewaluacji i metaewaluacja
  13. Przykład ewaluacji – ewaluacja Wolskiego Programu Reintegracji Społecznej „Druga szansa”
  14. Przyszłość ewaluacji

 Lista tematów może ulec niewielkim zmianom

 

Zasady zaliczenia przedmiotu

  1. Obecność na zajęciach - dwie nieobecności bez konsekwencji, każda następna do 6 wymaga zaliczenia, powyżej 6 nieobecności automatyczne powtarzanie przedmiotu. Weryfikacja obecności - lista z podpisem.
  2. Dokonanie analizy wybranej ewaluacji projektu społecznego na podstawie jej końcowego raportu oraz ewentualnie innych danych. Ocenie podlegać będzie prezentacja na zajęciach oraz raport całościowy.
  3. Egzamin pisemny na podstawie treści zajęć, podręcznika i ewentualnie literatury dodatkowej.

 

Wskazówki i wymogi wobec raportu z analizy ewaluacji

  1. Pracę wykonuje jedna osoba lub zespół dwuosobowy
  2. Zadanie główne polega na dokonaniu analizy wybranej ewaluacji jednego niewielkiego projektu z zakresu polityki społecznej
  3. Etap wstępny: należy znaleźć raport z ewaluacji (wykorzystać można Google ze słowami "ewaluacja końcowa", "EFS", "raport" "projekt"), przejrzeć znalezione raporty, wybrać jeden z nich, przesłać propozycję do prowadzącego formularzem do 12 października w celu uzyskania akceptacji.
  4. Etap 1: kryteria ewaluacji (wykłady 4-6)
    1. Wyodrębnić kryteria ewaluacyjne zastosowane w wybranej ewaluacji, przytoczyć cytaty z raportu z ich opisem słownym, ocenić zgodność nazewnictwa i opisu kryteriów z ich teorią przedstawioną na wykładzie. Pytanie: czy i w jakim stopniu definicje kryteriów ewaluacji były zgodne z definicjami wykładowymi?
    2. Przeanalizować sposób wyboru i ważenia kryteriów. Pytanie: czy i w jakim stopniu świadomie wybrano kryteria i dokonano ich hierarchizacji?
    3. Przeanalizować sposób operacjonalizacji kryteriów ewaluacyjnych. Pytanie: w jaki sposób mierzone były kryteria ewaluacyjne w kontekście danego projektu (np. jeżeli wybrano skuteczność, to w jaki sposób dokonano jej pomiaru i ile wyniosła)?
  5. Etap 2. Źródła danych o projekcie do ewaluacji, narzędzia ich uzyskania oraz sposób prezentacji (wykłady 7 i 8)
    1. Poszukujemy w raporcie wszystkich źródeł danych o projekcie, jakie były wykorzystywane (jakie dokumenty były analizowane, z kim przeprowadzano ankiety, wywiady) i krótko je przedstawiamy. Pytanie: jakie były źródła danych o projekcie?
    2. Poszukujemy informacji o narzędziach uzyskania danych ze źródeł. Pytanie: jakie techniki uzyskiwania danych ze źródeł zastosowano?
    3. Sprawdzamy sposób przedstawiania zebranych danych. Pytanie: w jaki sposób przedstawiono dane o projekcie w raporcie z ewaluacji?
  6. Etap 3. Teoria projektu i metoda ewaluacji (wykłady 9-11)
    1. Poszukujemy informacji o teorii projektu. Pytanie: jaka teoria oddziaływania projektu (teoria zmiany) była jego uzasadnieniem? Czy i w jakim stopniu zastosowano teorię zmiany do ewaluacji projektu?
    2. Sprawdzamy, czy w raporcie są informacje na temat metod ewaluacji cząstkowych. Pytanie: jakimi metodami ewaluatorzy ocenili projekt według wybranych przez siebie kryteriów?
    3. Sprawdzamy, czy w raporcie są informacje na temat metody ewaluacji łącznej. Pytanie: jaką metodą ewaluatorzy ocenili projekt łącznie na podstawie jego ocen cząstkowych?
  7. Etap 4. Metaewaluacja (wykład 13)
    1. Poszukujemy informacji o tym, czy w ewaluacji stosowano się do standardów ewaluacji Polskiego Towarzystwa Ewaluacyjnego lub innymi. Pytanie: czy i w jakim stopniu w ewaluacji kierowano się standardami ewaluacji?

 

Raporty cząstkowe z poszczególnych etapów prac zespoły będą przedstawiały na odpowiednich zajęciach

  1. Raport z etapu 1 – zajęcia 4-6
  2. Raport z etapu 2 – zajęcia 7-8
  3. Raport z etapu 3 – zajęcia 9-11
  4. Raport z etapu 4 – zajęcia 13
  5. Raport z przeprowadzonej analizy należy przesłać mailem w całości do 22 stycznia 2022. Raport powinien mieć stronę tytułową z tytułem: „Analiza ewaluacji projektu…”, nazwiskami autorów i ich mailami, spisem treści, streszczeniem, strukturą odpowiadającą poszczególnym etapom pracy, podsumowaniem i wykorzystaną literaturą. W raporcie należy stosować cytaty i przypisy dolne tak jak w innych pracach akademickich. Bardziej szczegółowe zalecenia wkrótce.

 

LITERATURA

Podręcznik podstawowy

B. Szatur-Jaworska (red.) "Ewaluacja w służbach społecznych", Mazowieckie Centrum Polityki Społecznej, Warszawa 2010.

R. Szarfenberg "Ewaluacja w polityce społecznej" w: J. Męcina, G. Firlit-Fesnak red. "Polityka społeczna. Podręcznik akademicki", PWN, Warszawa 2018.

 

Literatura o ewaluacji w kontekście polityki społecznej (od najnowszych)

 

Podręczniki, poradniki pozostałe


Wybory tekstów zagranicznych


Pozostałe od najnowszych


Artykuły (alfabetycznie)

 

Literatura i materiały ściśle metodologiczne

 

Standardy ewaluacji

 

Przykłady ewaluacji pojedynczych projektów

 

Wywiady

 

Zalecane strony