Ce înseamnă efectiv derularea testării PISA

PISA este un studiu comparativ internațional inițiat de către OCDE cu scopul de a măsura dezvoltarea competențelor de bază ale elevilor de 15 ani, aflați la finalul învățământului obligatoriu, în trei domenii principale: citire/lectură, matematică și științe.   

Administrarea testelor PISA este realizată de un consorțiu internațional, la fiecare trei 3 ani, iar pregătirea și adaptarea instrumentelor de evaluare la nivelul fiecărei țări participante se realizează în cicluri de câte 4 ani consecutivi.

Vezi aici modele de teste PISA.

România participă la PISA încă din anul 2000. În România, Centrul Național PISA a fost reprezentat de Centrul Național de Evaluare și Examinare, în perioada 2000-2015, iar din 2016 până în prezent, este reprezentat de Institutul de Științe ale Educației. Rapoartele naționale, pentru perioada 2000-2015 pot fi consultate www.rocnee.eu. 

România, la fel că toate celelalte țări în care elevii susțîn testare PISA, are obligația prin contract să păstreze confidențialitatea subiectelor de testare, până la apariția raportului internațional. În cazul în care itemi sau alte componente ale testării PISA, altele decât cele specificate de către Secretariatul OECD și menționate în contract sunt făcute publice de vreo țară participantă, țara respectivă este eliminată din baza de date, rezultatele nu sunt validate și se plătește o amendă al cărei cuantum este echivalent cu taxa de participare la program.

Iată mai jos cum s-a derulat testarea PISA 2018.

Ce înseamnă efectiv derularea testării PISA

Institutul de Științe ale Educației a fost nominalizat de către Ministerul Educației Naționale din 2016 drept Centru Național PISA 2018.

Etapa de pregătire a testării PISA a cuprins

• pregătirea proiectului de Hotărâre de Guvern privind participarea României la PISA 2018;
• culegerea de date statistice privind rețeaua școlară și structura populației școlare cu vârsta eligibilă pentru participarea la testare în vederea construirii cadrului pentru eșantionarea stratificată (unități de învățământ, elevilor);
• traducerea chestionarelor pentru elevi (două chestionare, aprox. 80 de pagini în total);
• traducerea chestionarului unității de învățământ (un chestionar, aprox. 40 pag);
• traducerea manualului pentru administratorii de test și a scenariului evaluării (care este standardizat pentru toate țările participante, manualul are 70 de pagini);
• analiza itemilor cognitivi și formularea unor propuneri de revizuire a acestora;
• organizarea pretestării – etapă pregătitoare în care testarea PISA se realizează pe un lot restrâns de elevi (28 de unități de învățământ din diferite medii și regiuni de dezvoltare, aprox. 900 de elevi);
• participarea la seminare online, organizate de consorțiul PISA și la alte reuniuni de formare față-în-față;
• Formarea administratorilor de test -familiarizarea cu scenariul evaluării, cu normele de administrare și normele de confidențialitate).
• Pregătirea coletelor de teste pentru școli – Conform standardelor PISA, pe fiecare broșură de testare a fost lipită o etichetă detașabilă cu numele elevului care urma să o primească, iar pe fiecare broșură a fost scris, manual, codul alocat elevului respectiv. La fel s-a procedat cu chestionarul fiecărui elev. În total, au fost etichetate: 960 de broșuri și 960 de chestionare.

Etapa de pretestare PISA – mai 2017

Pretestarea a avut loc în perioada 16-26 mai 2017, data susținerii în fiecare dintre cele 28 de unități de învățământ participante fiind agreată de comun acord. Spre deosebire de ciclurile anterioare de testare, PISA 2018 a dat școlilor posibilitatea de a susține testarea în funcție de programul elevilor. De ex., elevii care învață în mod obișnuit după-amiaza, au susținut testarea în cadrul programului lor școlar, nu în afara acestuia.

Echipa Centrului PISA 2018 a corespondat cu școlile selectate în vederea identificării elevilor eligibili să participe la testare (toți elevii din acele școli, născuți în intervalul 01.01.2001-31.12.2001, înscriși în clasele VII-XI). Listele elevilor eligibili din școlile selectate pentru pretestare au fost introduse într-o bază de date specială (KeyQuest), în vederea eșantionării. Din fiecare unitate de învățământ, au fost selectați aleator 38 de elevi.

Au fost adaptate manualele pentru codificarea itemilor. Pentru fiecare domeniu de testare există un manual:

• Manualul codificatorului de teste de matematică,
• Manualul codificatorului de teste de citire/lectură,
• Manualul codificatorului de teste de științe.

Forma revizuită a fiecărui manual a fost elaborată întâi în limba engleză, iar după ce modificările au fost aprobate sau discutate cu Consorțiul PISA 2018, fiecare manual a fost tradus în limba română.

Culegerea și sortarea materialelor după pretestare

• colectarea materialelor de testare, sortarea și pregătirea corectării testelor și a codării chestionarelor;
• formarea codificatorilor de teste;
• codificarea testelor (conform standardelor PISA, fiecare test este codificat de 3 experți separați, fiecare dintre aceștia consemnând rezultatele într-o bază specială de date; cele trei baze de date care rezultă în urma corectării testelor de științe, de exemplu, sunt controlate statistic și, în cazul în care există variații între scoruri, responsabilii de corectare sunt din nou instruiți și întregul proces de corectare este reluat);
• colectarea datelor din chestionare și introducerea lor în bazele de date PISA – DME.

Etapa testării PISA principale – martie-aprilie 2019

1. Culegere de date statistice despre rețeaua școlară pentru construirea eșantionului
2. Pregătirea materialelor pentru testarea principală (teste și chestionare în limba română și în limba maghiară)
3. Selectarea și formarea administratorilor de test
4. Selectarea și formarea monitorilor
5. Pregătirea coletelor cu materiale de testare pentru școli
6. Derularea testării principale – 12 martie – 20 aprilie
7. Sortarea materialelor de testare, codificarea și introducerea datelor în baza specializată
8. Auditul datelor – verificări ale datelor de către consorțiul PISA și de către centrul național.

1.Culegere de date statistice despre rețeaua școlară pentru construirea eșantionului

Pe baza datelor extrase din SIIR, eșantionul a fost elaborat de WESTAT – Consorțiul PISA 2018. Au fost extrase 196 de unități de învățământ, dintre care 171 au rămas în eșantionul final, iar testarea s-a derulat în 170 de școli. Au participat 5081 de elevi din clasele VII-X, fiind validate și prelucrate 5075 de teste. Cea mai mare pondere au avut-o elevii din clasa a IX-a (77,9%), urmați de cei de clasa a X-a (15,1%), clasa a VIII-a (6%) și de clasa a VII-a (0,9%).

2. Pregătirea materialelor pentru testarea principală (teste și chestionare în limba română și în limba maghiară)

• revizuirea acelor itemi cognitivi care au înregistrat abateri statistice semnificative;
• traducerea chestionarului elevilor – acesta fiind diferit de variantele utilizate la pretestare;
• traducerea chestionarului elevului în limba maghiară;
• revizuirea și adaptarea manualului administratorilor de test și a altor materiale de utilizat la nivelul școlilor participante;
• revizuirea și adaptarea testelor cognitive în limba maghiară;
• traducerea scenariului evaluării în limba maghiară, pentru administrarea sesiunilor în unitățile de învățământ cu predare în limba maghiară;
• imprimarea materialelor, transportul și sortarea acestora;
• contactarea școlilor selectate și solicitarea listei elevilor născuți în anul 2002, pentru eșantionare.

3. Selectarea și formarea administratorilor de test

Au fost selectați 171 de administratori de test, iar 165 dintre aceștia au participat la formare. Formarea a fost organizată în 4 locații, după cum urmează:

• București pentru școlile din județele: Constanța, Tulcea, Brăila, Ialomița, Călărași, Giurgiu, București, Buzău, Prahova, Dâmbovița, Argeș, Vâlcea, Olt, Dolj, Teleorman;
• Timișoara pentru școlile din județele: Mehedinți, Gorj, Hunedoara, Caraș-Severin, Timiș, Arad, Bihor;
• Cluj-Napoca pentru școlile din județele: Satu Mare, Maramureș, Sălaj, Bistrița Năsăud, Cluj, Alba, Mureș, Harghita, Covasna, Brașov, Sibiu;
• Iași pentru școlile din județele: Botoșani, Suceava, Neamț, Iași, Bacău, Vaslui, Vrancea și Galați.

4. Selectarea și formarea monitorilor

Pentru monitorizarea calității procesului de testare (respectarea normelor de administrare a testării) au fost organizate 2 demersuri:

• monitorizare – 6 monitori au fost selectați și formați de Consorțiul PISA și de Centrul Național (aceștia au participat și la sesiunile de formare a administratorilor de test);
• monitorizarea de către inspectorii școlari delegați de inspectoratele școlare județene (au fost transmise scrisori către inspectoratele școlare, iar inspectorii au primit manualul cu normele de administrare a testării și o grilă de monitorizare realizată de Centrul Național PISA).

5. Pregătirea coletelor cu materiale de testare pentru școli

Fiecare unitate de învățământ a primit un colet cu materialele necesare: teste cognitive, chestionare pentru elevi, chestionarul școlii, creioane pentru elevi, formulare de înregistrare a prezenței și alte formulare tip.

11.000 de teste au fost transmise către unitățile de învățământ. Testele nu pot fi imprimate cu mult timp în avans față de intervalul de testare, la fel și listele cu elevii participanți nu pot fi procesate cu mult timp în avans, conform standardelor internaționale.

6. Derularea testării principale – 12 martie – 20 aprilie

Până la 29 martie 2018, testarea s-a desfășurat în 167 de unități de învățământ, iar alte 4 unități au stabilit data testării în intervalul 12-20 aprilie. Unele unități de învățământ au avut planificată testarea pe 23 martie, însă în unele județe cursurile școlare au fost suspendate din cauza vremii, iar testarea a fost amânată pentru intervalul 12-20 aprilie (după vacanța de primăvară). În unitățile de învățământ în care rata de participare nu a fost satisfăcătoare, au fost organizate sesiuni suplimentare.

De asemenea, în 3 unități de învățământ din eșantion nu a fost posibilă selectarea unui administrator de test. În acest context, a fost necesară deplasarea unor cercetători în școlile respective, pentru administrarea testelor (în județele Constanța, Dolj și  Bihor).

7. Sortarea materialelor de testare, codificarea și introducerea datelor în baza specializată

Testele au fost sortate conform manualului de organizare a codificării, pe loturi. Datele codificate au fost introduse de către operatori diferiți în baze de date diferite, care apoi au fost comparate în vederea identificării și corectării eventualelor diferențe sau erori. Chestionarele elevilor și ale școlilor au necesitat, de asemenea, o dublă codificare și dublă introducere în DME.

După finalizarea codificării testelor, au fost introduse în baza de date peste 7.000 de fișe de codificare și 5.100 de broșuri de testare. De asemenea, chestionarele elevilor au fost introduse în baze de date. Itemii deschiși codificați au fost procesați separat, în baze separate de date, care ulterior au fost corelate.

Pe parcursul introducerii datelor, au fost efectuate periodic teste statistice pentru identificarea eventualelor variații în codificare sau a posibilelor erori în procesarea datelor. Verificarea datelor și transmiterea către consorțiul OCDE-PISA s-a realizat la finalul lunii august 2018.

8. Auditul datelor – verificări ale datelor de către consorțiul PISA și de către centrul național.

La solicitarea OECD, Centrul național a cules informații privind sistemul de învățământ, finanțarea acestuia, modalitățile de înscriere a elevilor la școală, pe cicluri de învățământ, numărul de ore de studiu prevăzut în curriculumul oficial, modalități de implicare e elevilor și părinților în consiliile școlilor etc.

Nivelul de efort depus de elevi în rezolvarea testelor PISA

• Elevii români apreciază că efortul depus pentru rezolvarea sarcinilor de lucru a fost, în medie de 7,9 pe o scală de la 1 la 10, unde 10 semnifica efortul maxim.
• Efortul depus este apropiat de media OECD, însă mai mic decât cel pe care elevii noștri l-ar fi depus dacă era vorba despre o evaluare cu miză personală (examen, evaluare notată).

Rezultatele evaluării internaționale PISA 2018, precum și toate informațiile și datele validate la nivel internațional sunt disponibile pe https://www.oecd.org/pisa/ .

Date comparative privind rezultatele pot fi vizualizate la https://www.compareyourcountry.org/pisa 

Sursa ise.ro