Uniwersytet Warszawski, Instytut Polityki Społecznej

EWALUACJA W POLITYCE SPOŁECZNEJ

 

PROGRAM | CO NOWEGO?
 

Prowadzący: dr hab. Ryszard Szarfenberg - www, e-mail (wykład w semestrze zimowym), dr Małgorzata Ołdak, dr Renata Gierszewska (ćwiczenia w semestrze letnim)

Dyżury

 

Motto: ewaluacja to nie jest żadna wiedza tajemna

 

Efekty kształcenia

Po ukończeniu przedmiotu student jest przygotowany do ćwiczeń w semestrze letnim.

  1. Wyjaśnia czym jest ewaluacja odwołując się do specyfiki jej celów i funkcji, jej kryteriów oraz metod i technik.
  2. Rozróżnia i rozpoznaje różne modele i podejścia do ewaluacji oraz wybiera model odpowiedni do danych warunków.
  3. Ocenia przydatność metod i technik ewaluacji w zależności od celów ewaluacji.
  4. Oddziela i odróżnia poszczególne kroki w procedurze prowadzenia ewaluacji.
  5. Uzasadnia znaczenie standardów ewaluacji dla jej prowadzenia.
  6. Rozwiązuje proste zadania z zakresu projektowania ewaluacji.
  7. Ocenia przykłady ewaluacji pod względem ich zgodności ze standardami ewaluacji.

 

Tematyka wykładów

  1. Wprowadzenie
  2. Definicje, funkcje i cele ewaluacji na tle audytu, monitoringu i badań (aktualizacja 17/18)
  3. Ewaluacja w cyklu polityki publicznej i w pracy socjalnej – sprawność działania
  4. Kryteria ewaluacji – skuteczność
  5. Kryteria ewaluacji - efektywność
  6. Kryteria ewaluacji - użyteczność, trwałość, trafność
  7. Dane i badania w kontekście ewaluacji
  8. Dane i badania w kontekście ewaluacji – metody ilościowe
  9. Metoda ewaluacji
  10. Ewaluacja oparta na teorii projektu
  11. Procedura przeprowadzania ewaluacji na przykładzie modelu ewaluacji CIPP
  12. Standardy ewaluacji i metaewaluacja
  13. Przykład ewaluacji – ewaluacja Wolskiego Programu Reintegracji Społecznej „Druga szansa”
  14. Przyszłość ewaluacji

 Lista tematów może ulec niewielkim zmianom

 

Zasady zaliczenia przedmiotu

  1. Obecność na zajęciach - dwie nieobecności bez konsekwencji, każda następna do 6 wymaga zaliczenia, powyżej 6 nieobecności automatyczne powtarzanie przedmiotu. Weryfikacja obecności - lista z podpisem.
  2. Dokonanie analizy wybranej ewaluacji projektu społecznego na podstawie jej końcowego raportu oraz ewentualnie innych danych. Ocenie podlegać będzie prezentacja na zajęciach oraz raport całościowy.
  3. Egzamin pisemny na podstawie treści zajęć, podręcznika i ewentualnie literatury dodatkowej.

 

Wskazówki i wymogi wobec raportu z analizy ewaluacji

  1. Pracę wykonuje jedna osoba lub zespół dwuosobowy
  2. Zadanie główne polega na dokonaniu analizy wybranej ewaluacji jednego niewielkiego projektu z zakresu polityki społecznej
  3. Etap wstępny: należy znaleźć raport z ewaluacji (wykorzystać można Google ze słowami "raport" "ewaluacja"), przejrzeć znalezione raporty, wybrać jeden z nich, przesłać propozycję do prowadzącego do 16 października w celu uzyskania potwierdzenia.
  4. Etap 1: kryteria ewaluacji (wykłady 3-6)
    1. Wyodrębnić kryteria ewaluacyjne zastosowane w wybranej ewaluacji, przytoczyć cytaty z raportu z ich opisem słownym, ocenić zgodność nazewnictwa i opisu kryteriów z ich teorią przedstawioną na wykładzie. Pytanie: czy i w jakim stopniu definicje kryteriów ewaluacji były zgodne z definicjami wykładowymi?
    2. Przeanalizować sposób wyboru i ważenia kryteriów. Pytanie: czy i w jakim stopniu świadomie wybrano kryteria i dokonano ich hierarchizacji?
    3. Przeanalizować sposób operacjonalizacji kryteriów ewaluacyjnych. Pytanie: w jaki sposób mierzone były kryteria ewaluacyjne w kontekście danego projektu (np. jeżeli wybrano skuteczność, to w jaki sposób dokonano jej pomiaru i ile wyniosła)?
  5. Etap 2. Źródła danych o projekcie do ewaluacji, narzędzia ich uzyskania oraz sposób prezentacji (wykłady 7 i 8)
    1. Poszukujemy w raporcie wszystkich źródeł danych o projekcie, jakie były wykorzystywane (jakie dokumenty były analizowane, z kim przeprowadzano ankiety, wywiady) i krótko je przedstawiamy. Pytanie: jakie były źródła danych o projekcie?
    2. Poszukujemy informacji o narzędziach uzyskania danych ze źródeł. Pytanie: jakie techniki uzyskiwania danych ze źródeł zastosowano?
    3. Sprawdzamy sposób przedstawiania zebranych danych. Pytanie: w jaki sposób przedstawiono dane o projekcie w raporcie z ewaluacji?
  6. Etap 3. Metoda ewaluacji (wykłady 9-11)
    1. Poszukujemy informacji o teorii projektu. Pytanie: jaka teoria oddziaływania projektu (teoria zmiany) była jego uzasadnieniem? Czy i w jakim stopniu zastosowano teorię zmiany do ewaluacji projektu?
    2. Sprawdzamy, czy w raporcie są informacje na temat metod ewaluacji cząstkowych. Pytanie: jakimi metodami ewaluatorzy ocenili projekt według wybranych przez siebie kryteriów?
    3. Sprawdzamy, czy w raporcie są informacje na temat metody ewaluacji łącznej. Pytanie: jaką metodą ewaluatorzy ocenili projekt łącznie na podstawie jego ocen cząstkowych?
  7. Etap 4. Metaewaluacja (wykład 12)
  8. Poszukujemy informacji o tym, czy w ewaluacji stosowano się do standardów ewaluacji Polskiego Towarzystwa Ewaluacyjnego lub innymi. Pytanie: czy i w jakim stopniu w ewaluacji kierowano się standardami ewaluacji?

 

Raporty cząstkowe z poszczególnych etapów prac zespoły będą przedstawiały na odpowiednich zajęciach

  1. Raport z etapu 1 – zajęcia 3-6
  2. Raport z etapu 2 – zajęcia 7-8
  3. Raport z etapu 3 – zajęcia 9-11
  4. Raport z etapu 4 – zajęcia 12
  5. Raport z przeprowadzonej analizy należy przesłać w całości do 16 stycznia 2018. Raport powinien mieć stronę tytułową z tytułem: „Analiza ewaluacji projektu…”, nazwiskami autorów i ich mailami, spisem treści, streszczeniem, strukturą odpowiadającą poszczególnym etapom pracy oraz podsumowaniem. W raporcie należy stosować przypisy dolne tak jak w innych pracach akademickich.

 

LITERATURA

Podręcznik podstawowy

B. Szatur-Jaworska (red.) "Ewaluacja w służbach społecznych", Mazowieckie Centrum Polityki Społecznej, Warszawa 2010.

 

Literatura o ewaluacji w kontekście polityki społecznej

 

Literatura ogólna (głównie w kontekście programów UE)

 

 

 

Artykuły

 

Literatura i materiały ściśle metodologiczne

 

Standardy ewaluacji

 

Przykłady ewaluacji pojedynczych projektów

 

Wywiady

 

Zalecane strony