Program szkoły letniej w zakresie „Polityk publicznych opartych na dowodach"


Dzień 1 (poniedziałek) 
Analiza polityk publicznych oparta na dowodach

Pierwszy dzień obejmuje zajęcia wprowadzające, poświęcone koncepcji przyczynowości w politykach publicznych – jej znaczeniu, operacjonalizacji oraz metodom pomiaru. Tego dnia badania kontrfaktyczne umiejscowione zostaną również w szerszym kontekście ewaluacji opartej na teorii.

Główne punkty zajęć:

  • omówienie głównych zadań ewaluacji z perspektywy procesu usprawniania polityk publicznych,
  • analiza dotychczasowych praktyk stosowanych przy ocenie oddziaływania programów/projektów finansowanych ze środków publicznych – wskazanie na główne problemy i ograniczenia,
  • wprowadzenie kluczowych pojęć dla problematyki badań stosujących metody kontrfaktyczne.
  • omówienie zagadnienia selekcji i problemu obciążenia selekcyjnego (selection bias) w kontekście realizacji i oceny interwencji publicznych,
  • przedstawienie logiki i głównych założeń metod bazujących na kontrfaktycznej definicji przyczynowości,
  • wyzwania w stosowaniu podejścia kontrfaktycznego, patrząc przez pryzmat oczekiwań Komisji Europejskiej.


Prowadzący:
Prof. Jarosław Górniak,  dr Seweryn Krupnik, Stanisław Bienias.


Dzień 2 (wtorek)
Ewaluacja oparta na teorii programu – odtwarzanie i ewaluacja logiki interwencji

Drugi dzień zajęć poświęcony będzie w całości koncepcji i metodyce badań opartych na teorii (Theory-based Evaluation - TBE).

Omówione zostaną szczegółowo m.in.:

  • kontekst teoretyczny ewaluacji opartej na teorii,
  • proces odtwarzania logiki interwencji,
  • modele, mapy, matryce i inne narzędzia stosowane w tym podejściu,
  • proces projektowania i realizacji badań z wykorzystaniem TBE.


Warsztatowo zostaną przeprowadzone symulacje odtwarzania logiki interwencji przez samych uczestników.

Prowadzący:
dr Seweryn Krupnik, Piotr Stronkowski.


Dzień 3 (środa) 
Metody i techniki analizy danych w statystycznych badaniach przyczynowych opartych na podejściu kontrfaktycznym. Część 1

Trzeci i czwarty dzień szkoły koncentruje się na konkretnych metodach i technikach badawczych, służących do szacowania skutków interwencji publicznych.

W ramach omawiania poszczególnych metod każdorazowo przedstawione zostaną:

  • główne założenia,
  • zalety, wady i ograniczenia stosowania,
  • sposoby doboru prób (zarówno grupy zasadniczej, jak również grupy porównawczej/kontrolnej),
  • zagadnienia związane z dostępem do danych niezbędnych do zastosowania każdego z prezentowanych podejść.


Główne punkty zajęć:

  • omówienie metody eksperymentalnej opartej na schemacie losowym (randomized controlled trial – RCT),
  • przedstawienie techniki różnicy w różnicach (Difference in Differences),
  • omówienie metod dopasowania prób wg cech, takich jak: Propensity Score Matching (PSM); Coarsened Exact Matching (CEM).
  • ćwiczenia.


Prowadzący:
Rafał Trzciński, Paulina Skórska, Maciej Koniewski.



Dzień 4 (czwartek)
Metody i techniki analizy danych w statystycznych badaniach przyczynowych opartych na podejściu kontrfaktycznym. Część 2

W czwartek kontynuowane będą zajęcia z dnia poprzedniego, przy czym główna uwaga poświęcona zostanie metodom i technikom, które bazują na nieco innych podejściach w identyfikacji stanów kontrfaktycznych.


Główne punkty zajęć:

  • metoda zmiennych instrumentalnych (Instrumental Variables - IV),
  • metoda nieciągłości w równaniu regresji/ progu interwencji lub odrzucenia (Regression Discontinuity Design - RDD),
  • ćwiczenia.

 

Prowadzący:
Maciej Koniewski, Paulina Skórska, Rafał Trzciński.



Dzień 5 (piątek)
Praktyka realizacji badań opartych na teorii oraz metod kontrfaktycznych. Część 1


Część 1A 

Wprowadzenie do Stata, czyli programu polecanego do analiz kontrfaktycznych:

  • Planowanie, organizacja, dokumentacja analiz,
  • Zapoznanie ze Statą (interface, okna Staty, typy plików, edytor do-file, struktura do-file,
  • Przygotowywanie danych (nazwy, etykiety, formatowanie),
  • Podstawowe operacje na zmiennych/przekształcenia,
  • Podstawowe komendy ułatwiające ogląd danych (statystyki opisowe, wykresy),
  • Tworzenie wykresów i praca z wykresami,
  • Podstawowe makra i pętle.


Część 1B

Przygotowanie danych do analizach kontrfaktycznych:

  • omówienie zagadnień związanych z modelami regresji wielokrotnej, logistycznej, w tym zagadnienia związane z ich tworzeniem i oceną,
  • wybór kowariantów.


Zajęcia z komputerami (piątkowe i sobotnie) są przeznaczone dla osób, które chcą zrozumieć i poznać w praktyce poszczególne kroki składające się na analizę kontrfaktyczną 

Prowadzący:
Maciej Koniewski, Paulina Skórska.



Część 1B Zamawianie, nadzorowanie realizacji i odbiór badań kontrfaktycznych

Główne punkty zajęć:

Dotychczasowe doświadczenia sektora publicznego z kontrfaktycznymi ewaluacjami wpływu
Wyzwania i szanse dla ewaluacji kontr- faktycznych w perspektywie 2014-2020+.


Ewaluacje kontrfaktyczne a zamówienia publiczne:

  • planowanie i projektowanie ewaluacji (faza poprzedzająca zamówienia),
  • przygotowywanie zakresów zamówień i metodologii („studium wykonalności" projektów ewaluacji kontrfaktycznych),
  • dokumentacje i postępowania o udzielenie zamówień (najlepsze sprawdzone rozwiązania),
  • współpraca z ekspertami („kamienie milowe", kontrola jakości, kluczowe decyzje zamawiającego w procesie analitycznym, ewentualne kwestie sporne),
  • konsumowanie wyników (odbiór produktów, komunikacja z interesariuszami, wykorzystanie).


Prowadzący:
Jacek Pokorski, Rafał Trzciński.

 

Dzień 6 (sobota)
Praktyka realizacji badań opartych na teorii oraz metod kontrfaktycznych. Część 2

Część 2A  Zastosowanie podejścia kontrfaktycznego w analizie danych.

Zastosowanie podejścia kontrfaktycznego w analizie danych. Ćwiczenia z wykorzystaniem Stata:

  • estymowanie i diagnostyka modeli;
  • weryfikacja założeń;
  • interpretacja wyników;
  • sposoby prezentacji (raportowanie),
  • ćwiczenia.


Prowadzący:
Rafał Trzciński, Maciej Koniewski (Wspomagająco), Paulina Skórska (Wspomagająco).



Część 2B Warsztat jakościowy w badaniach opartych na teorii.

Zajęcia będą prowadzone z wykorzystaniem komputerów.
W ramach zajęć zaprezentowane zostany pakiet do analizy danych jakościowych (MAXQDA).

Główne punkty zajęć:

  • omówienie zagadnienia jakościowej analizy danych z wykorzystaniem dedykowanego oprogramowania, 
  • ćwiczenia.


Prowadzący:
dr Barbara Worek, Anna Szczucka