Nyomtatóbarát változat: Országos Közoktatási Intézet > Új Pedagógiai Szemle 2000 március > Value added analysis -- a minőségbiztosítás brit eszközeinek egyike

Value added analysis – a minőségbiztosítás brit eszközeinek egyike

– A „hozzáadottérték-elemzés” meghonosodása Angliában –

Carol T. Fitz-Gibbonnak 1997-ben The Value Added National Project, Final Report címen jelent meg egy kis kötete, melyben az angliai Hozzáadott érték országos projekt kutatási zárótanulmányát adta közre. Hazai közoktatásunkban a minőségbiztosítás fogalma az utóbbi időben központi szerepet kapott, ezért tanulságos megismerkedni e kötet segítségével az angliai vizsgálatokkal és eredményekkel.

A kutatás háttere

A hozzáadottérték-elemzés gyakorlata (value added analysis) a gazdasági életben elterjedt módszer kevésbé honos az oktatás világában. Az angol oktatásügyben az 1988-as oktatási törvény irányította az iskolafejlesztési és a mérési-értékelési szakemberek figyelmét erre a módszerre, s mozgósította őket a pedagógiai adaptáció lehetőségeinek vizsgálatára.1 Ez a megközelítés egy lehetséges alternatíva az iskolai eredményesség mérésére. Az 1988-as oktatási törvény előírja, hogy nyilvánosságra kell hozni a 16 éves kor betöltése után letett GCSE (General Certificate of Secondary Education) vizsgák eredményeit és az ennek alapján kialakított iskolák közötti rangsort. A törvénynek ezzel kettős célja volt: egyrészt átláthatóbbá tette az adófizetők pénzének felhasználását, másrészt – és ez a lényegesebb – segítette a szülőket a középiskola választásában.2 A rangsorlistát (a „league table”-t) igazságtalannak érezték azok az iskolák, melyek szociálisan hátrányos környezetből érkező tanulókat oktatnak. Ezekben az intézményekben összemérhetetlenül nagyobb energiaráfordításra van szükség ahhoz, hogy például egy középosztálybeli kertvárosi iskolával azonos szintű akadémiai teljesítményt tudjanak diákjai felmutatni. Tehát pusztán az alapvizsgán elért eredmények keveset árulnak el arról, milyen munka folyik egy-egy középiskolán belül. Ezért merült fel az, hogy a vizsgateljesítmények mellett az intézmények más mutatóit is nyilvánosságra kellene hozni. Ezen a ponton tűnt jó eszköznek a hozzáadott érték vizsgálata és értelmezése.

Mielőtt az országos projektre sor került volna, néhány alapkérdésben megegyezésre jutottak a kutatók. Elsőként arra, mi legyen a „bemeneti” mutató. A kiindulási helyzetben a várható teljesítmény előrejelzésére nincs mindig elegendő adat. Ezért a kezdetekkor (bizonyos esetekben) a szociális háttér adatait is figyelembe vették a tanulók indulási helyzetének meghatározásakor. E megközelítés ellen többen azzal érveltek, hogy azt sugallja: a szociálisan hátrányos környezetből érkezőktől az iskola alacsonyabb szintű teljesítményt várhat el, mint a jobb anyagi háttérrel rendelkező társaiktól. Másrészt viszont tapasztalati tény, hogy a tanulók szociális háttere erősen befolyásolja iskolai teljesítményüket. A népszámlálási adatok alapján kialakított szociális jellemzők (a beiskolázási körzetben az egy lakásban/szobában lakók száma, a lakás/ház tulajdonlása vagy bérlése, személygépkocsi(k) birtoklása stb.) vagy egyszerűen csak az ingyenes étkezésre jogosultak arányai iskolai szinten hatékony kiindulási mutatóknak bizonyultak. Azt a környezetet jellemzik, amelyben az adott iskola működik.3 A szociális mutatók háttérmutatókként számítanak fontosnak, a tanulók tényleges fejlődését sokkal inkább lehet jellemezni egy-egy időszak kezdetén és végén mért, tágabban is értelmezett tudásbeli változással. A másik lényeges egyetértés a hozzáadott érték értelmezésében született meg: ne csak az egyes intézmények eredményességének összevetésére használják, hanem aknázzák ki a módszerben rejlő közvetlen iskolafejlesztési lehetőséget, így alkalmazásával kövessék nyomon az egyes tanulók személyes fejlődését is.

A hozzáadottérték-projekt általános jellemzői

A 22 hónapig tartó kutatás, mely az oktatási miniszter felkérésére készült azzal a céllal, hogy feltárja egy statisztikailag érvényes és könnyen értelmezhető országos rendszer kialakításának lehetőségét, amely a diákok korábbi iskolai teljesítményének és az alapvizsgán elért eredményének összevetésén alapul, 1997 februárjában zárult le. A projekt kitért a bevezetés lehetőségeire mind az elemi iskolákban, mind az alsó középfokon. A munka vezetésére Carol T. Fitz-Gibbon, az University of Durham Curriculum Evaluation and Management Centre vezető professzora, a zárótanulmány szerzője kapott megbízást. A CEM Centre a professzorasszony vezetésével már 1983 óta foglalkozott a témával, így széles körű tapasztalatokra támaszkodhattak. A kutatók feltételül szabták, hogy ha kialakítható egy ilyen rendszer, akkor az ne kívánjon az iskoláktól felesleges többletmunkát, illetve költségkímélő legyen.

A projekt a hozzáadott érték indikátorait az egyes tantervi szakaszok végén lebonyolított külső mérési eredményekre építette.4 (Emellett természetesen nem tagadta, hogy az iskola nemcsak a vizsgateljesítményekkel mérhető „értékekkel” járul diákjai fejlődéséhez, hanem a művészetek vagy a sport területén, a munkavállalói képesség fejlődésével, az egyéni érdeklődés, attitűdök és aspirációk változásával is. Sőt, az intézményt körülvevő társadalmi környezet, a szülők szempontjából is tapasztalhatók olyan változások, amelyeket az iskola által hozzáadott értékként lehet(ne) elkönyvelni.) A munkatársak a hozzáadott értéket pontértékkel számolták ki, az egyes diák fejlődését a többiekéhez viszonyították. Az iskola által „hozzáadott érték” természetesen csak viszonylagosan mutatható ki, mind az egyén, mind az intézmény szintjén. A kutatók lényegében három mérési szintet alakítottak ki: az egyes diákok mérése, az intézményi eredmények összevetése, az egyes helyi oktatási hatóságok (Local Educational Authority – LEA) mérési eredményei.

A projekt során áttekintették

  • a hozzáadott érték vizsgálatáról kialakult nézeteket,

  • a kvantitatív eredményeket,

  • a hozzáadott értékmutatók felhasználhatóságának körét,

  • a projekt országos bevezetésének lehetséges szervezeti modelljeit,

  • további kérdéseket, tágabb összefüggéseket,

  • javaslatokat.

    A kutatás megállapításai

    A projekt egyik első kérdése az volt, hogy elfogadják vagy elutasítják-e az iskolák a hozzáadott érték vizsgálatát, illetőleg melyek az elfogadás feltételei.5 Az intézmények vezetői általában szívesen fogadták az adott tényeken alapuló visszajelzést intézményük teljesítményéről. Példák a válaszokból: „Minél hamarabb jön létre egy ilyen országos rendszer, annál jobb.” „Bátorítja azokat a kollégákat, akik szociálisan hátrányos helyzetű gyerekekkel foglalkoznak, hiszen számszerűen méri munkájuk eredményét. Ugyanakkor azt is megmutatja, hogy a tanárok nem elég hatékonyak a rájuk bízott tehetségek fejlesztésében.” „1. Ha mindenképpen ki kell alakítani az iskolák közötti rangsort, akkor az egyetlen lehetséges formának a hozzáadott érték szerintit tartom. 2. A hozzáadott értékről kapott részleteket nagyon bizalmasan, csak iskolai belső használatra lehet felhasználni.” Sokan kitértek arra, hogy az egyes tanulók fejlődéséről kapott visszajelzések nagymértékben hozzájárulnak a személyes törődés eredményesebbé tételéhez (és ezen keresztül az intézményfejlesztéshez). Ugyanakkor az igazgatók aggodalmaikat is megfogalmazták: „Valóban az intézményfejlesztés eszköze legyen, ne pedig a pedagógusokat fenyegető nádpálca!” „A nagy tudományossággal elvégzett mérések bevezetése tovább fokozhatja az iskolák munkájával és az oktatási rendszerrel szemben tapasztalható bizalmatlanságot.” További általános megállapítás volt, hogy a kapott adatok önmagukban még nem jelentenek elegendő okot arra, hogy az intézmény mindennapi gyakorlatát, alkalmazott módszereit megváltoztassák, szükséges ezeket összevetni más eredményekkel és tapasztalatokkal is.

    Ugyancsak fontos kérdés volt, hogy az így kapott adatok publikussá válhatnak-e (váljanak-e) vagy maradjanak meg az intézmény belső ügyének. Ezzel kapcsolatosan sokkal nyitottabbak voltak a középiskolák vezetői, hiszen nekik már gyakorlati tapasztalataik voltak arról, mennyire egyoldalú információ az, ha pusztán a vizsgaeredmény szerinti rangsor válik ismertté egy-egy intézmény esetében.6 A középiskolák a rangsor helyett inkább a hozzáadott értékek adatait hoznák nyilvánosságra. Ugyanakkor az adatgyűjtés megkezdését követő 3-4. évre várható, hogy egy-egy intézményről elegendő mennyiségű, a tendenciákat jól mutató adatmennyiség gyűljön össze, tehát az az ideális, ha az első nyilvánosságra hozásig legalább ennyi idő telik el.

    Az adatokat az elemi iskolák inkább táblázatos formában tudják jól felhasználni, értelmezni, a középiskolák ezzel szemben az oszlopdiagramos ábrázolást részesítették előnyben. Mindkét iskolatípus szükségesnek tartotta, hogy mind az intézményvezetők, mind az egyes pedagógusok kapjanak segítséget, felkészítést az adatok, diagramok értelmezéséhez. A szakmai támogatásnak főleg a személyes formáit részesítették előnyben: az útmutatókkal, videokazettákkal szemben a telefonos segélyszolgálatot és a közvetlen konzultációra lehetőséget adó továbbképzéseket.

    A kvantitatív megállapítások három csomópont köré tömörültek.

    a) Rendelkezésre állnak-e a belső intézményfejlesztéshez és a professzionális értékeléshez szükséges, statisztikailag érvényes és könnyen értelmezhető országos hozzáadottérték-vizsgálat közeli kialakításához szükséges megfelelő alapok?

    b) Szükséges-e bármifajta másodlagos elemzés, mielőtt nyilvánosságra kerülnek az intézményenkénti hozzáadottérték-indikátorok?

    *

    Az első kérdésre a válasz igen, az alábbi kiegészítésekkel:

  • a tantervi szakaszok végén végzett tesztek megfelelő előrejelzői a következő szakaszra várható teljesítménynek;

  • a tantárgyankénti eredmények elemzése helyett megfelelőbb az átlagteljesítmény figyelembevétele;

  • az elért követelményszint megadása helyett pontosabb képet ad az adott teljesítmény 8 fokozatú osztályozása;7

  • az aktuálisan alkalmazott teszt- és vizsgaeredmények adatai reliabilitás szempontjából a legtöbb középiskola, valamint az évfolyamonként legalább 30 tanulót oktató elemi iskola esetében a hozzáadott érték megfelelő indikátorai;

  • az intézményfejlesztés, intézményvezetés segítése érdekében – tehát csak belső felhasználásra – a hozzáadott érték vizsgálatát akár azonnal érdemes lenne bevezetni;

  • a számonkérhetőség, a nyilvánosságra hozás összes feltétele viszont még nem biztosított, tehát az eredmények publikussá tételével még várni kell.

    A második kérdésre igenlő válaszok érkeztek, a harmadikra a következők:

  • az intézményfejlesztés szempontjából nem az lényeges igazán, hogy az iskola a nemzeti standardokhoz tudja hasonlítani minden egyes diákja teljesítményét, hanem az, hogy ezek ismeretében átgondolhatja, hogyan is szervezte-szervezi diákjai számára a tanítás-tanulás folyamatát. Ez az, amin változtatni lehet, míg a többi mutató nem vagy csak részben függ az intézménytől;

  • az eredmények nyilvánosságra hozatala, az adatbemutatás korrektsége és a félreinterpretálhatóság kiszűrése érdekében lényeges változóknak mutatkozott a nemek szerinti adatelemzés és a tanulói mozgás, valamint a szélsőséges helyzet (pl. nem angol anyanyelvűek vagy ingyenes iskolai étkezésben részesülők magasabb aránya) önmagában számszerűsített megjelenítése.

    A hozzáadott érték elemzésében rejlő lehetőségek egyike, hogy információt ad minden egyes diák relatív fejlődéséről. Ehhez a leghasznosabbnak a pontdiagram alkalmazása mutatkozott: a koordinátarendszerben minden egyes pont egy-egy tanuló korábbi és aktuálisan mért eredményét mutatta, az „X” tengelyen a korábbi tantervi szakasz átlagát (független változó), az „Y” tengelyen pedig (függő változó) a jelenlegi átlagot mérve. A pontok mellé, az értelmezés, a másokkal való összevetés segítése érdekében felvették a nemzeti mutatók alapján képzett trendvonalat. Természetesen nemcsak az átlagok összevetése volt érdekes, hanem az is (főleg az intézményvezetők számára), ha ugyanabból a tantárgyból a diákok nagyobb csoportjánál volt megfigyelhető jelentős változás valamilyen irányban, vagy ha egy tanuló a korábbiaknál lényegesen gyengébb eredményt mutatott (szinte) valamennyi tantárgyból. Ugyanakkor a kutatók szerint az elemzés az alábecslő elvárás veszélyét is magában rejtheti. Ez abból fakadhat, hogy egy korábbi (átlag)teljesítmény megjósolja annak esélyét (kb. 50%-osan), hogy a következő teljesítmény szintje is hasonló lesz. Az alábecslő elvárás veszélye akkor kerülhető ki, ha a tantárgyi teszteken kívül az általános képességek fejlődését is figyelembe veszik. A projekt fontos megállapítása volt az is, hogy az iskolákban szükség van legalább egy olyan személyre, aki viszonylag nagy biztonsággal tudja interpretálni a kapott adatokat. Ugyanakkor azt is megállapították, hogy nem lehet országos rendszert építeni a hozzáadott érték tanári értékelésen alapuló számítására, viszont – megfelelő óvatosság esetén – jól használható egy-egy intézmény belső fejlődésének vizsgálatához, nyomon követéséhez.

    A projekt országos bevezetésének lehetséges szervezeti modelljei leírásakor a leglényegesebb megállapítások: akkor lehet a rendszer viszonylag alacsony költségű és válhat a minőségbiztosítás eszközévé, ha a már kialakított mérési és vizsgarendszeren alapul; ha az iskola minden egyes tanulója teljesítményéről egyénre lebontott visszajelzést ad; ha az adattovábbításra mindkét irányban elektronikus úton kerül sor; és ha minden diáknak külön személyes azonosító kódja van. Az adatbázis kezelését természetesen egy központ feladatának tekintették, de mellette célszerűnek tartották, hogy kisebb – a tanácsadás jogáért versenyző – szervezetek működjenek közre az adatértelmezés, intézményfejlesztés, pedagdógus-továbbképzés folyamatában.

    A tágabb összefüggések vizsgálatakor elsősorban néhány veszélyre hívták fel a projekt munkatársai a figyelmet. Ilyen a teszt- és vizsgaeredmények jelentőségének túlértékeléséből eredő csőlátás, vagy a túlzott megfelelni akarás ezeknek, illetve a pusztán tesztek és vizsgák teljesítésére felkészítő tanítás. Ugyancsak problémát okozhat, ha a rendelkezésre bocsátott adatokat csak önmagukban és nem egy hosszabb folyamat részeként tekintik, vagy pusztán azokra a mutatókra gondolnak, amelyek viszonylag kisebb ráfordítással jelentősen javíthatnák az intézmény eredményeit.8 Az adatok félreértelmezése – bizonyos együttállások esetén nem a valódi okok megtalálása – is előfordulhat.9 Téves eredményekhez, megállapításokhoz vezethet, ha a vizsgált kör valamilyen kisebbséget/szélsőséget reprezentál, ugyanakkor az átlaghoz hasonlítva értelmezik a kapott eredményeket. Végül az eredményekkel való „játék” lehetősége sem zárható ki, a bemeneti eredmények tudatos „lenyomása” annak érdekében, hogy a kimenetkor minél magasabb hozzáadott értéket demonstrálhasson egy-egy intézmény.

    A zárótanulmány elkészülte óta eltelt időszak nem múlt el tétlenül. A Foglalkoztatási és Oktatási Minisztérium internetes honlapján már nemcsak az alsó középiskolában tett alapvizsga eredményei találhatók meg, hanem az elemi iskolákéi is. Az 1998-ról szóló, publikált eredmények mellett olvashatók a hozzáadott érték mutatói is. Törvény írja elő, hogy 1998. szeptember 1-jétől az elemi iskolák kötelesek értékelni, hogy az iskolakezdők milyen felkészültséggel, előzetes tudással érkeztek az intézménybe. (Ez az értékelés nem standardizált, az előírás csak annyit szabályoz, hzogy a rendszerbe lépőket milyen szempontok alapján kell felmérni. Így a méréshez részben a helyi oktatási hatóságok dolgoztak ki saját értékelési eljárást, részben mérésre – értékelésre – tanácsadásra szakosodott nonprofit szervezetek kínálják szolgáltatásaikat.) Mindezek mellett 1999-ben előzetes kísérlet indult annak megvizsgálására, miképpen lehetne a hozzáadott érték módszerét az elemi és az alsó középiskolai szakaszról a felső középiskolákra is kiterjeszteni.

    A minőségbiztosítással kapcsolatos hazai törekvések számára tanulsággal szolgál ez a két éve megjelent kis kötet. Ajánlom minden hazai minőségbiztosítással foglalkozó szakember figyelmébe!

    Bognár Mária

    Carol Taylor Fitz-Gibbon (1997): The Value Added National Project. Final Report. School Curriculum and Assessment Authority, London, 129 pp. (Hozzáadott érték országos projekt, kutatási zárótanulmány.)