Projekty w praktyce, czyli od pomysłu do sukcesu- cz. III
Część trzecia serii artykułów pt. "Projekty w praktyce, czyli od pomysłu do sukcesu". Dowiedz się czym różnią się ewaluacja i kontrola projektu oraz jak prawidłowo je przeprowadzić.
Ewaluacja i kontrola projektów
W literaturze przedmiotu ewaluacja to użycie metod badań społeczno-ekonomicznych do systematycznego zbierania danych, analizy, interpretacji, oceny i informowania o skuteczności programów i projektów.[1] W dokumentach Unii Europejskiej ewaluacja jest definiowana jako ocena interwencji według jej rezultatów, oddziaływania oraz potrzeb, które ma (miała) spełnić.[2]
Podstawową rolą ewaluacji jest podnoszenie jakości i skuteczności realizowanych form wsparcia. Uzasadnienie konieczności prowadzenia ewaluacji zostało określone przez Komisję Europejską w następujący sposób: „Celem ewaluacji jest: sprawdzenie racjonalności działań (…), równoczesne promowanie osiągniętych sukcesów i zapobieganie porażkom podejmowanych działań. [3]
Jednym z głównych powodów podejmowania działań ewaluacyjnych jest konieczność rozliczenia finansowego projektu oraz określenie wpływu podjętych zadań projektowych na rozwój firm, instytucji i regionów.
W UE ewaluacja funduszy unijnych uznawana jest za nadrzędne narzędzie programowania, umożliwiające określenie silnych i słabych stron oraz dopasowanie się do reakcji odbiorców, personelu i innych osób, których dotyczy realizowany projekt.[4]
Mimo, że w potocznym rozumieniu ewaluacja ogranicza się do realizacji badania konkretnego instrumentu oraz sporządzenia raportu prezentującego otrzymane wyniki, to traktowana jest jako proces złożony z następujących etapów:[5]
- planowanie - na tym etapie zostaje określony przedmiot i kryteria ewaluacji;
- projektowanie - to etap, w czasie którego zostaje uszczegółowiona metodologia;
- zbieranie danych - to etap na który składają się prace badawcze prowadzone przez zespół ewaluatorów i gromadzone są informacje, które posłużą do sporządzenia raportu;
- analiza danych zgromadzonych na etapie planowania i projektowania;
- raportowanie, które jest przedostatnim etapem ewaluacji polegającym na przedstawieniu wyników przeprowadzonych badań i analiz; jego forma powinna być określona na etapie planowania.
Aby ewaluacja mogła przyczynić się do poprawy jakości realizowanych działań jej wyniki powinny być upowszechnione i przedstawione w formie „najlepszych praktyk”.
W stosunku do realizowanych projektów możemy wyróżnić trzy podstawowe typy ewaluacji: ex-ante, mid-term, ex-post.
Ewaluacja ex-ante zdefiniowana została jako interaktywny proces, którego celem jest poprawa i wzmocnienie końcowej jakości realizowanego projektu.
Ewaluacja mid-term jest narzędziem służącym polepszeniu jakości i trafności procesu projektowania. Daje ona możliwość korekty, poprawę wdrażania projektu, a więc usprawnienie procedur wdrażania, a w konsekwencji poprawę jakości i potencjału organizacji realizującej projekt. Jednym z ważniejszych zadań stojących przed ewaluacją mid-term jest weryfikacja przyjętych celów projektu.
Ewaluacja ex-post to ewaluacja podsumowująca, dokonywana po zakończeniu projektu. Jej głównym celem jest określenie rezultatów a także wielkości zaangażowanych środków i skuteczności zrealizowanej pomocy. Ocena dokonana na podstawie ewaluacji ex-post powinna określić przyczyny sukcesu lub porażki, a także dostarczyć informacje o trwałości osiągniętych celów. Ważnym celem ewaluacji może być też, w jaki sposób interwencja wpłynęła na poszczególne grupy interesariuszy i czy zrównoważono korzyści różnych grup, nie tylko tych bezpośrednio korzystających z efektów projektu.
Bardzo często beneficjenci projektów mylą termin ewaluacji z kontrolą, a przecież ewaluacja to szacowanie uzyskanych efektów do wcześniejszych założeń i zdefiniowanych kryteriów. Kontrola natomiast odnosi się do uzyskanych efektów i ma na celu porównanie istniejącego stanu z założeniami, ustalenie nieprawidłowości oraz opracowanie zaleceń do zidentyfikowanych uchybień.
Typy kontroli przedstawia poniższa ilustracja:
Źródło: opracowanie własne
Każda kontrola realizowanego projektu musi uzyskać pewność, że:
- fizyczna i finansowa realizacja projektu następuje zgodnie z harmonogramem,
- wydatki zostały uzyskane z systemów księgowania i są zgodne z planem finansowym,
- istnieje i jest stosowany odrębny system księgowości dla wydatków ponoszonych w ramach projektu,
- kontrakty/umowy realizowane w ramach projektu są zgodne z prawem dot. zamówień publicznych.
Podstawowym kryterium oceny jest więc legalność oraz zgodność prowadzonych działań projektowych z wnioskiem o dofinansowanie projektu. Sam proces kontroli to działanie nieregularne i wyrywkowe. Kontrole realizowane są najczęściej w trakcie realizowanego projektu przed otrzymaniem ostatniej transzy dofinansowania. Każda kontrola obejmuje część finansową oraz merytoryczną. Podpisując umowę o dofinansowanie projektu wyrażamy (automatycznie) zgodę na przeprowadzenie procesu kontroli.
Instytucja Wdrażająca (IW) może jednostronnie rozwiązać umowę o dofinansowanie, jeżeli projektodawca:
- zaprzestał realizacji Projektu,
- realizuje go w sposób niezgodny z zawartą umową,
- nie osiągnie zamierzonego w Projekcie celu z przyczyn przez siebie zawinionych,
- odmówi poddania się kontroli lub audytowi (jeżeli jest wymagany),
- w ustalonym przez IW terminie nie doprowadzi do usunięcia stwierdzonych nieprawidłowości,
- wykorzysta przekazane środki na cel inny niż określony w projekcie,
- nie przedłoży w ustalonym terminie i na ustalonych zasadach sprawozdania z realizacji projektu,
- nie wniesie zadeklarowanego wkładu własnego,
- nie przestrzega przepisów ustawy – Pzp (Prawo zamówień publicznych).
Poniższa ilustracja prezentuje orientacyjne miejsca trwania procesu ewaluacji i kontroli na linii czasu realizacji projektu:
Źródło: opracowanie własne
Jak można zauważyć czasowi trwania realizowanego projektu przyporządkowano kontrolę w czasie i przed końcem realizacji, dwa badania ewaluacyjne na początku i przed kontrolą końcową oraz wizytę monitorującą. Zespoły kontrolujące w czasie prowadzonego procesu kontroli biorą pod uwagę raporty z badań ewaluacyjnych, tak więc dobrze jest tak zaplanować ewaluację tak aby, stworzone raporty były do dyspozycji zespołu kontrolującego.
Do najczęstszych uwag zespołów kontrolujących związanych z realizacją części finansowej projektu zaliczamy:
- błędne opisane dokumenty do wniosku o płatność,
- brak adnotacji o weryfikacji merytorycznej i finansowej dokumentów księgowych,
- błędna kwalifikacja poniesionych wydatków,
- błędnie nadawane numery księgowe i ewidencyjne dokumentów finansowych,
- dokonywanie poprawek na dokumentach finansowych nanoszone niezgodnie z ustawą o rachunkowości,
- ponoszenie wydatków niezgodnie z ustawą o finansach publicznych,
- błędy w stosowaniu zasady konkurencyjności oraz prawa zamówień publicznych Pzp.
dr inż. Przemysław Dubel
Centrum Projektów i Ekspertyz
Wydziału Zarządzania UW
Nie wiesz jak przygotować projekt lub przeprowadzić analizę problemu i celu projektu? Zapraszamy do przeczytania cz. I- Przygotowanie projektu oraz cz. II- Analiza problemu i celu projektu.
[1] K. Olejniczak, Teoria i praktyka ewaluacji w świetle doświadczeń europejskich, „Studia Regionalne i Lokalne” nr 4(22)/2005, Warszawa, 2005, s. 35.
[2] Komisja Europejska, 2004a, Evaluating EU Activities. A Practical Guide for the Commission Services, Brussels: European Commission . DG Budget.
[3] CEC, Evaluation Design and Management, t. 1, MEANS Collection: Evaluating Socioeconomic Programmes, Luxembourg: OOPEC, 1999, s. 17.
[4] J. Bachter, R. Michie, A New Era in EU Regional Policy Evaluation. The Appraisal of the Structural Funds, “Regional Studies” nr 29, 1995.
[5] Por.: T.Krzeszowski, Ocena (ewaluacja) programów i projektów o charakterze społeczno gospodarczym w kontekście przystąpienia Polski do UE, PARP, Warszawa 2002, s 5-30.;M. Trocki, B.Gruczy, Zarządzanie projektem europejskim, PWE, Warszawa 2006.