Raport końcowy z badania pt. „Ewaluacja wspomagania szkół”

07 lis Raport końcowy z badania pt. „Ewaluacja wspomagania szkół”

Czy model szkół ćwiczeń sprawdził się i może być upowszechniany w ramach programów regionalnych? Czy wspomaganie było prowadzone przez wysokiej klasy specjalistów? Czy dyrektorzy szkół i placówek kształtowali postawę otwartości na zmiany w sposobie funkcjonowania zespołu pracowników? Czy istnieją w Polsce wystandaryzowane narzędzia do pomiaru poziomu kompetencji kluczowych, w szczególności w zakresie umiejętności podstawowych (rozumienia i tworzenia informacji, rozumowania matematycznego i podstawowych umiejętności cyfrowych)? Czy skala wsparcia realizowanego na rzecz Jednostek Samorządu Terytorialnego w obszarze wspomagania pracy szkół i placówek była zbyt wysoka w stosunku do ich realnych potrzeb?

Na te i wiele innych pytań odpowiadają autorzy raportu „Ewaluacja wspomagania szkół”, wskazując jednocześnie, że koncepcja szkół ćwiczeń została pozytywnie przyjęta przez środowisko nauczycielskie.

Cele i zakres badania

Głównym celem badania była ocena realizacji celu szczegółowego PI 10i Programu Operacyjnego Wiedza – Edukacja – Rozwój (PO WER): Poprawa funkcjonowania i zwiększenie wykorzystania systemu wspomagania szkół w zakresie rozwoju u uczniów kompetencji kluczowych i umiejętności uniwersalnych. Cele szczegółowe badania obejmowały:

1. Ustalenie osiągniętej wartości wskaźnika rezultatu długoterminowego: Odsetek szkół korzystających z kompleksowego modelu wspierania pracy szkoły dzięki wsparciu z EFS;
2. Ocena dotychczasowych efektów realizacji projektów w obszarze wspomagania placówek;
3. Identyfikacja ewentualnych barier i luk w zapewnieniu dostępu do wysokiej jakości wspomagania placówek;
4. Określenie pożądanych kierunków dalszych działań w zakresie wspomagania placówek w kontekście wykorzystania środków EFS.

Metoda badania

W badaniu wykorzystano następujące metody badawcze:

• analiza dokumentów,
• wywiady indywidualne i grupowe z przedstawicielami MEiN, ORE, beneficjentów i uczestników projektów,
• badanie spisowe beneficjentów,
• CAWI szkół i placówek,
• CATI z uczestnikami projektów (placówki wspomagania),
• CAWI z uczestnikami szkół ćwiczeń,
• CAWI z przedstawicielami JST.

Wskaźniki rezultatu

Celem badania było obliczenie wartości wskaźników rezultatu bezpośredniego i długoterminowego. Wskaźnik rezultatu bezpośredniego „Liczba szkół korzystających z kompleksowego modelu wspomagania pracy szkoły dzięki wsparciu z EFS” został oszacowany na podstawie badania spisowego beneficjentów. 87 projektodawców wskazało łącznie w formularzu spisowym 7 971 szkół i placówek, w których przeprowadzono wspomaganie w ramach projektów. Po uwzględnieniu dwóch projektów, dla których nie pozyskano danych oraz dodatkowych szkół i placówek, które nie były uwzględnione w rejestrze, łącznie maksymalnie wsparciem mogło zostać objętych 10 022 szkół i placówek oświatowych. W skali kraju 14,7% szkół i placówek skorzystało ze wspomagania w ramach projektów konkursowych realizowanych w Działaniu 2.10 PO WER.

Wskaźnik rezultatu długoterminowego „Odsetek szkół korzystających z kompleksowego modelu wspierania pracy szkoły dzięki wsparciu z EFS” został oszacowany na podstawie badania reprezentatywnego przeprowadzonego na populacji szkół i placówek. Według uzyskanych danych 42% szkół lub placówek deklarowało, że co najmniej raz w okresie 2018-2022 przeprowadziły proces wspomagania oraz, że proces wspomagania objął co najmniej jeden z elementów wspomagania lub dana szkoła pełniła funkcję szkoły ćwiczeń, ewentualnie współpracowała ze szkołą ćwiczeń.

Osiągnięta wartość wskaźnika rezultatu długoterminowego jest poniżej wartości docelowej, określonej w PO WER na poziomie 60%. Wynika to jednak przede wszystkim z przeszacowania wartości docelowej wskaźnika.

Projekty skierowane do instytucji wspomagania

Realizacja PO WER, a w konsekwencji i projektu pozakonkursowego ORE pt.: „Zwiększenie skuteczności działań pracowników systemu wspomagania i trenerów w zakresie kształcenia u uczniów kompetencji kluczowych” opóźniły się. W wyniku tego opóźnienia harmonogramy realizacji projektu pilotażowego i pierwszego konkursu częściowo nałożyły się na siebie, w związku z czym nie można było uwzględnić wniosków z projektu pilotażowego na etapie przygotowywania konkursu. Na etapie wdrażania projektu pilotażowego wystąpiły pewne trudności, które nie zostały wzięte pod uwagę na etapie przygotowania konkursów (np. trudności z utrzymaniem uczestników w projektach, trudności ze znalezieniem szkoły). W projekcie pilotażowym nie przeprowadzono również analizy faktycznego zapotrzebowania na tego typu wsparcie. Wnioski z pilotażu nie zostały zebrane, przeanalizowane i uwzględnione przy przygotowywaniu kolejnych konkursów. Tym samym projekt pilotażowy nie spełnił swojej pilotażowej roli.

W projektach konkursowych dużym wyzwaniem była rekrutacja uczestników, a także utrzymanie ich w projekcie i zapewnienie przeprowadzenia przez nich wspomagania. Wspomaganie nie było finansowane ze środków EFS, ale ze środków krajowych, wyodrębnionych w budżetach organów prowadzących szkoły na dofinansowanie doskonalenia zawodowego nauczycieli. Trudności w rekrutacji uczestników wynikały przede wszystkim ze zbyt dużej skali zaplanowanego wsparcia, nieadekwatnej do faktycznych potrzeb placówek wspomagających pracę szkoły. Założono też nazbyt ambitne wymagania dotyczące uczestnictwa w projekcie.

Próbą rozwiązania problemów z rekrutacją było poszerzenie grupy docelowej i objęcie wsparciem nauczycieli i dyrektorów szkół. Osoby należące do tej grupy zakładały, że po zakończeniu projektu będą mogły zajmować się prowadzeniem wspomagania w swojej lub innych szkołach i placówkach.

Uczestnicy projektów bardzo pozytywnie oceniają szkolenia. Najlepiej byli oceniani trenerzy, ale również pozytywnie były oceniane materiały i program szkolenia. Uczestnicy bardzo doceniali warsztatową formułę szkoleń oraz możliwość wymiany doświadczeń. Trudnością była duża intensywność szkoleń. W okresie pandemii COVID-19 część szkoleń została zmieniona na formę on-line, co ograniczyło możliwość wymiany doświadczeń. Materiały opracowywane w ramach projektów nie zawsze są dostępne na stronach internetowych projektodawców lub ORE. Dodatkowe materiały te nie są w żaden sposób katalogowane, co utrudnia ich użyteczność.

Większość uczestników projektów brała udział w sieciach współpracy i samodoskonalenia. Jednak przyjęta formuła sieci okazała się niewystarczająco dopasowana do potrzeb użytkowników. Uczestnicy projektów niechętnie logowali się do sieci i byli mało aktywni. Część nie utożsamiała platformy www.doskonaleniewsieci.pl z siecią współpracy i samodoskonalenia. Uczestnicy też niechętnie angażowali się w działania na tej platformie.

W wyniku przeprowadzonych szkoleń zdecydowana większość uczestników czuła się przygotowana do realizacji wspomagania. Barierą okazało się znalezienie szkół i placówek chętnych do wspomagania. W poszukiwaniu takich szkół i placówek pomagali beneficjenci.

Uczestnicy projektów, po zakończeniu szkoleń, byli zobowiązani do przeprowadzenia wspomagania w praktyce w szkole lub placówce. Wspomaganie to nie było już finansowane ze środków EFS, a w założeniu miało być finansowane ze środków wyodrębnionych w budżetach organów prowadzących szkoły na dofinansowanie doskonalenia zawodowego nauczycieli (zgodnie z art. 70a ust. 1 Karty Nauczyciela). 95% uczestników projektów przeprowadziło wspomaganie, a 81% deklaruje przeprowadzenie pełnego cyklu wspomagania. Dwie trzecie uczestników przeprowadziło wspomaganie w ramach projektu w jednej szkole lub placówce. Założenie przyjęte w konkursie, że wszyscy uczestnicy projektów edukacyjnych wdrożą do praktyki jednostek pełen cykl wspomagania było trafne – pozwalało zapewnić, że nabyte kompetencje będą przetestowane w praktyce i dzięki temu zdecydowanie utrwalone. W praktyce to ambitne założenie okazało się niewykonalne i części uczestników nie udało się przeprowadzić wspomagania.

Wspomaganie przebiegało zwykle zgodnie z założeniami modelu, choć były też liczne odstępstwa. Niektóre etapy lub zaplanowane elementy wspomagania nie były realizowane. Wynikało to najczęściej z pandemii COVID-19, ograniczeń czasowych nauczycieli, innych priorytetów. Projektodawcy monitorowali przebieg wspomagania w minimalnym wymaganym zakresie. Zwykle nie interesowali się tym, jak przebiegało wspomaganie oraz jakie przyniosło efekty.

Realizacja projektów w PO WER była niewątpliwie katalizatorem uruchomienia procesów wspomagania w wielu szkołach i placówkach. 77% uczestników projektów wskazało, że bez udziału w projekcie nie zdołałoby przeprowadzić wspomagania.
Pozytywnie były też ocenione efekty wspomagania. 86% szkół i placówek jest zdania, że wypracowane rozwiązania zostały wdrożone do praktyki szkół. 81% jest zdania, że poprawiła się skuteczność kształcenia kompetencji kluczowych u uczniów, 87% szkół korzystających ze wspomagania jest zdania, że dzięki wspomaganiu częściej stosowane jest zindywidualizowane podejście do ucznia. Natomiast tylko 27% szkół i placówek korzystających ze wspomagania jest zdania, że dzięki wspomaganiu częściej stosowane jest nauczanie eksperymentalne. Zdecydowana większość szkół i placówek jest zdania, że bez wspomagania wdrożone zmiany i tak zostałyby wprowadzone, jednak zwykle później lub w mniejszym zakresie.

Ocena, na ile realizacja projektów przyczyniła się do upowszechnienia i utrwalenia modelu korzystania ze wspomagania jest niejednoznaczna. Zaledwie 40% uczestników projektów prowadziło wspomaganie po zakończeniu realizacji projektów. Odsetek ten był niższy wśród osób, które nie były pracownikami placówek wspomagania. Można zatem stwierdzić, że w ramach projektu wystąpił znaczący efekt wyciekania przeszkolonych kadr. Z drugiej strony przedstawiciele placówek wspomagania stwierdzili, że dzięki uczestnictwu w szkoleniach ich pracowników uruchomiły ofertę wspomagania, poszerzyły skalę działania lub poprawiły jakość swoich usług.

Korzystanie ze wspomagania zwiększa szanse, że dana szkoła lub placówka będzie nadal korzystać ze wspomagania. Wśród podmiotów, które korzystały ze wspomagania, 51% planuje skorzystać z tej formy wsparcia w kolejnym roku szkolnym, a tylko 4% deklaruje, że z niej nie skorzysta. Natomiast wśród podmiotów, które nie korzystały ze wspomagania, w kolejnym roku szkolnym planuje skorzystać tylko 29% podmiotów.

Największą barierą w korzystaniu ze wspomagania przez szkoły i placówki jest brak oferty wspomagania. Znacząca część szkół i placówek nie zna tej formy wsparcia i nie dostała propozycji przeprowadzenia wspomagania. Drugą poważną barierą jest brak czasu nauczycieli i inne priorytety. Szkoły są przeciążone obowiązkami administracyjnymi i ciągłymi zmianami w systemie edukacji i nie mają przestrzeni, czasu i możliwości, aby angażować się we wspomaganie. Z perspektywy placówek wspomagania największą barierą dla upowszechnia nowego modelu wspomagania jest brak zainteresowania tą formą współpracy ze strony szkół.

Szkoły ćwiczeń

Projekt pozakonkursowy przygotował realizację projektów wdrożeniowych przede wszystkim w zakresie nakreślenia szczegółowych ram i zasad funkcjonowania szkół ćwiczeń, które były możliwe do zrealizowania w ramach projektów konkursowych. Jak dotychczas nie udało się trwale osadzić szkół ćwiczeń w systemie wspomagania pracy szkoły/systemie doskonalenia nauczycieli w Polsce. Przede wszystkim nie wypracowano modelu finansowania szkół ćwiczeń.

Problemem w zakresie wdrażania niektórych projektów była konieczność nawiązania sformalizowanego partnerstwa z uczelniami i instytucjami systemu wspomagania pracy szkoły, a także konieczność zapewnienia przez beneficjentów aż 5-letniego okresu trwałości, bez finansowania ze środków projektowych.

Trafność wsparcia realizowanego w ramach projektów typu „Szkoła ćwiczeń” ocenić należy jako wysoką. Wspomaganie pracy szkoły realizowane w tego rodzaju projektach odpowiadało na potrzeby nauczycieli w zakresie doskonalenia zawodowego, samorealizacji i rozwoju osobistego. Podstawową zaletą tej formy, w porównaniu do innych form doskonalenia zawodowego nauczycieli, jest praktyczny wymiar kształcenia. Nauczyciele natrafiali jednak na trudności w pogodzeniu udziału w zajęciach w ramach szkoły ćwiczeń z obowiązkami zawodowymi oraz na trudności w wygospodarowaniu czasu na korzystanie z oferty szkoły ćwiczeń.

Szkoły wspierane w ramach projektów nie uczestniczyły w modelowo rozumianym wspomaganiu procesowym, obejmującym kilka elementów. Nauczyciele ze szkół wspieranych korzystali jedynie z oferty doskonalenia nauczycieli, którą stworzyły szkoły ćwiczeń.

Nauczyciele najczęściej uczestniczyli w takich formach wsparcia jak sieci współpracy i samokształcenia oraz w warsztatach metodycznych. Ponad połowa badanych korzystała także z materiałów dostarczonych przez szkołę ćwiczeń. Powszechnie stosowano także lekcje pokazowe oraz konferencje i seminaria, zaś znacznie mniej popularne były konsultacje zbiorowe i indywidualne. Najczęściej uczestnicy projektów podnosili kompetencje dydaktyczne w obszarze przedmiotów przyrodniczych (39%). 25% badanych podnosiło kompetencje dydaktyczne w obszarze języków obcych, 25% – w obszarze matematyki, zaś 24% w obszarze informatyki.

Projekty typu „Szkoła ćwiczeń” można uznać za skuteczne w zakresie wzrostu kompetencji dydaktycznych oraz upowszechniania i wzrostu skuteczności stosowania metod zindywidualizowanego podejścia do ucznia, a także w zakresie zmiany podejścia do nauczania kompetencji kluczowych. Nieco słabsze są natomiast efekty w zakresie częstszego stosowania i wzrostu skuteczności stosowania nauczania eksperymentalnego. Projekty typu „Szkoła ćwiczeń” dość skutecznie oddziałują także na świadomość nauczycieli w zakresie konieczności nieustannego rozwoju zawodowego.

Wsparcie kadry zarządzającej szkołami i placówkami oraz jednostek samorządu terytorialnego

Projekty pozakonkursowe zrealizowane zostały zgodnie z założeniami i wypracowały wkład merytoryczny do projektów konkursowych (programy szkoleń, materiały szkoleniowe itd.). Tym niemniej, na etapie wdrażania projektów konkursowych wystąpiły istotne problemy, które nie zostały zidentyfikowane na etapie projektów pilotażowych. Celem pilotażu powinna być także identyfikacja i oszacowanie ryzyka wystąpienia tych problemów na etapie wdrażania interwencji w dużej skali.

Trudności, które wystąpiły na etapie wdrażania interwencji to m.in.: bardzo duże trudności w rekrutacji uczestników w projektach typu „Pracownicy JST”1, a w mniejszym stopniu także w projektach typu „Dyrektorzy”2; trudności w realizacji bardzo ambitnych programów szkoleniowych w ograniczonym czasie; trudności w rekrutacji trenerów; trudności we wdrożeniu istotnych zmian w praktyce funkcjonowania szkół/placówek, czy też JST w wyniku udziału w projektach typu „Pracownicy JST”.

Dyrektorzy szkół/placówek najczęściej zgłaszali się do projektów, gdyż chcieli mieć możliwość uzyskania wsparcia w zakresie przygotowania dobrej jakości rocznego planu działania szkoły, który był podstawą do przeprowadzenia wspomagania w szkole/placówce, z powodu chęci rozwoju osobistego i zawodowego oraz by mieć możliwość wymiany doświadczeń z innymi dyrektorami w ramach sieci współpracy. Przedstawiciele JST przystąpili do udziału w projekcie, gdyż byli zainteresowani kwestią podnoszenia kompetencji kluczowych uczniów i poprawą jakości oświaty w gminie/powiecie.

Uczestnicy projektów typu „Pracownicy JST” wysoko lub bardzo wysoko oceniają każdy z analizowanych aspektów wsparcia. Relatywnie najsłabiej oceniono wdrożenie efektów wsparcia uzyskanego w projekcie do praktyki zarządzania oświatą lub funkcjonowania szkół lub placówek, dla których JST jest organem prowadzącym. Uczestnicy projektów typu „Dyrektorzy” wysoko lub bardzo wysoko oceniają każdy z analizowanych aspektów wsparcia. Relatywnie najsłabiej, choć nadal dość wysoko, oceniono trafność wsparcia, rozumianą jako dopasowanie projektów do potrzeb i oczekiwań uczestników (kadry zarządzającej szkołami/placówkami). Dotyczy to programu i harmonogramu szkoleń i doradztwa.

Efektami projektów typu „Pracownicy JST” częściej był wzrost kompetencji ich uczestników, a rzadziej konkretne działania lub zmiany w funkcjonowaniu organów prowadzących. Tylko nieco ponad 40% uczestników projektów typu „Pracownicy JST” zadeklarowało, że w wyniku udziału w projekcie opracowała lokalny plan podnoszenia jakości usług oświatowych oraz wspomagania kompetencji kluczowych uczniów. Wspomaganie przeprowadzone w szkołach/placówkach w efekcie realizacji projektów typu „Pracownicy JST” najczęściej objęło nauczanie kompetencji ICT (58% analizowanych przypadków) oraz umiejętności uczenia się (58%). Nieco rzadziej wspomaganie dotyczyło nauczania umiejętności matematyczno-przyrodniczych (50%) oraz umiejętności posługiwania się językami obcymi (44%). Procesy wspomagania przeprowadzone w ramach planów opracowanych przez JST charakteryzowały się umiarkowaną kompleksowością. W zdecydowanej większości przypadków objęły diagnozę oraz zaplanowanie form wspomagania. W ponad połowie przypadków procesy objęły także ustalenie sposobów działania oraz realizację wspomagania. W mniej niż połowie przypadków proces objął także ocenę efektów, opracowanie wniosków z realizacji zaplanowanych form wspomagania oraz wdrożenie efektów wspomagania do praktyki szkół/placówek. Problemem pozostaje nadal wdrażanie efektów wspomagania do praktyki działania szkół/placówek.

Efektem projektów typu „Dyrektorzy” był wzrostu umiejętności/kompetencji osób zarządzających szkołami/placówkami oraz zmiany w funkcjonowaniu całej szkoły/placówki, wynikające z wdrażania określonych rozwiązań. Niemniej, pomimo dość pozytywnych efektów projektów typu „Dyrektorzy”, wspomaganie procesowe, które miało być ich efektem, w wielu przypadkach w praktyce nie odbyło się.

Kluczowe rekomendacje

• Należy wypracować mechanizm trwałego finansowania działalności szkoły ćwiczeń ze środków europejskich oraz krajowych.
• Na poziomie krajowym należy uruchomić wsparcie dla szkół ćwiczeń, tworzonych w programach regionalnych, doskonaląc i rozwijając model szkół ćwiczeń.
• Należy nadal podnosić kompetencje kadry prowadzącej wspomaganie oraz uporządkować i upowszechniać materiały dotyczące wspomagania.
• Należy kontynuować wsparcie dla dyrektorów szkół i placówek. Kompleksowe wspomaganie powinno być tylko jednym z elementów tego wsparcia.
• Należy tworzyć i rozwijać narzędzia służące do pomiaru poziomu kompetencji kluczowych uczniów oraz system pomiaru tych kompetencji na różnych etapach edukacyjnych.
• Należy stworzyć i rozwijać repozytorium wiedzy na temat skutecznych i efektywnych kosztowo metod poprawy efektów kształcenia.
• Należy upowszechniać wśród przedstawicieli organów prowadzących ideę kompleksowego wspomagania. Powinni oni znać założenia wspomagania i wiedzieć, jak zachęcać szkoły do korzystania z niego i jak wykorzystać środki na doskonalenie nauczycieli w celu kompleksowego wspomagania szkół.

 Ewaluacja wspomagania szkół – raport końcowy
Wielkość pliku: 4 MB

7 listopada 2023 r.