Magyar Tudomány, 2008/07 870. o.

Tudós fórum



A „sötét teljesítmény”1

nyomában


Zolnai László


a fizikai tudomány kandidátusa, tudományos főmunkatárs

MTA Atommagkutató Intézet

zolnai atomki . hu


Ennek az írásnak az apropóját az adja, hogy a legutóbbi időben tudományos közéletünkben vita bontakozott ki a publikációs teljesítmények társszerzőszámmal való beosztásáról (lásd: Horváth, 2008; Végh, 2008). A vita egyik oldalán a soktársszerzős publikációk birtokosai, a másik oldalán publikációikat kevesebbedmagukkal jegyzők állnak. A beosztás műveletét korábbi írásainkban (Zolnai – Berényi, 1989; Zolnai – Gácsi, 1998) vetettük fel, illetve tettünk kísérletet egy hazai intézet esetére való alkalmazásra, és ott meg is indokoltuk.2 Mivel a cikkeinket követő vitában (Vinkler, 1999; Zolnai – Gácsi, 1999) a beosztás műveletét érdemi kritika nem érte, így ezt mint bevett szokást kezeljük (a témakör friss áttekintését lásd Gauffriau et al., 2007). Ezen eljárásunkat látjuk igazolva abban a tényben, hogy több diszciplína hasonló módon jár el a publikációs tevékenység értékelésében.3

Az előbb említett eljárás a fizika területén elsősorban a sokrésztvevős együttműködésekben dolgozókat (ezen együttműködések egyéb problémáit lásd Z. Karvalics, 2008), azok közül is leginkább a kísérleti részecskefizikusokat érinti. A jelen írásban elsősorban az ő szemszögükből szemlélve szeretnék erre a tudományos teljesítmény értékelésével kapcsolatos problémára megoldást vázolni. Gondolatmenetem részben támaszkodik egy korábbi cikkemben (Zolnai, 2001) írottakra.

Egy hazai, kutatás- (tudományos teljesítmény?) értékelési metódustól – több, más kritériumon kívül – elvárjuk, hogy illeszkedjen a nemzetközi trendekhez (közel azonos fogalmakkal operáljon) és valamilyen módon összhangban legyen az intézményi, kutatási téma és egyéni szinten. Ezen belül, ha az eljárást az MTA működteti (rendszeres anyagiakkal járó, egyéni értékelést gyakorlatilag csak az MTA végez), az is elvárható, hogy az értékelés munka- (tudomány-?) területtől függetlenül nagyjából egyenlő esélyeket nyújtson a kimagasló teljesítményekkel pályázók számára (Papp, 2004a-b, 2005; Tóth, 2008). Fontos szempont az is, hogy az értékelésnek legyen anyagiakban mérhető következménye.

Hogy témánkhoz közelebb jussunk, definiálni kell az „akadémiai teljesítményt”, amelyet tapasztalatainkra támaszkodva4 és a teljesség igénye nélkül, a következőképpen tehetünk meg: akadémiai teljesítmény (AT) = (hazai és külhoni5) publikációipari tevékenység (PIT) + alkotói teljesítmény + oktatási teljesítmény, iskolateremtés + bel- (társadalom-, védelmi stb.) politikai hozadék + kül- (nemzet- stb.) politikai hozadék6 + MTA-szervezetben végzett tevékenység + gazdaságossági szempontok + infrastrukturális ellátottság + (stb.).

Hogy szemléltessük a kísérleti részecskefizikusok problémáját, valamint hogy érzékeltessük azt a légkört, amelyben ez a probléma jelentkezik, vizsgáljuk meg egy következményekkel járó, a gyakorlatban már alkalmazott intézetértékelő eljárás szerkezetét.

1996-ban az MTA természettudományi intézeteit több formulát alkalmazva is megpróbálták értékelni.7 Ezek a formulák lényegileg egyformák voltak – mind egy pontszámban próbálta összesíteni az intézetek „teljesítményét”. Egyiküket ismertetjük, amelynek nagy hatása volt az intézetek besorolásában.

Az intézetektől az 1992–95-ös időszakra vonatkozó különböző teljesítménymutatókat kértek. Ezek közül a formulában végül is szereplő tagok8 definíciói a következők voltak: 

a1,int az adott időszakban egy intézeti kutatóra évenként eső publikációszám átlaga

a2,int az adott időszakban egy intézeti kutatóra évenként eső idegen nyelven megjelent publikációk számának átlaga

a3,int az adott időszakban egy intézeti kutatóra évenként eső SCI-folyóiratokban9 megjelent publikációk számának átlaga

a4,int az adott időszakban évenként megjelent publikációk hatástényezőinek10 (impaktfaktorainak) összege osztva az SCI-cikkek illető évbeli számával, átlagolva az adott időszakra

a5,int az a4,int osztva h-val, ahol h a tudományterület folyóiratainak átlagára jellemző, átlagos hatástényező (az intézetek által megadott „tevékenységi spektrumból” az MTA Kutatásszervezési Intézete számolta ki)

a6,int az intézeti kutatóévenkénti idézetszám, (a 1982–95 között megjelent publikációkra vonatkozó, 1992–95-ben évenként megjelent független SCI-idézetszám, osztva az illető intézet kutatóinak évenkénti átlaglétszámával, átlagolva az 1992–95-ös időszakra)

a7,int az adott időszakban nemzetközi együttműködésben készült publikációk száma11 osztva az összes publikáció számával

a8,int az adott időszakban bejelentett szabadalmak száma osztva az intézeti kutatók számával

a9,int az adott időszakban idegen nyelven megjelent publikációk száma osztva az MTA-támogatás összegével (M Ft-ban)

a10,int az adott időszakban találmányok értékesítéséből befolyt összeg osztva az intézeti kutatók számával

a11,int az intézetben tudományos minősítéssel rendelkezők száma osztva az intézeti kutatók számával.

A mutatók közül talán leginkább hiányolható valamilyen „relatív tőkeellátottsággal” kapcsolatos mérőszám. A kutatóintézetek által elért pontértéket a fenti mutatók egyszerű súlyfaktorokkal képzett összege12 adta.

A mutatók nagy többsége láthatóan a PIT-tel kapcsolatos, bár nyomokban előfordulnak az AT más összetevőivel kapcsolatos mutatók is (a2,7-11,int8). A PIT nagy szerepe miatt (a természettudományos osztályok gyakorlata is ezt mutatja) a publikációs tevékenységmutatók társszerzők számával való beosztása jelentős diszkriminációt jelent az érintettek számára (mint ahogy a be nem osztás a többiek számára13), különösen egy olyan szűkebb szakmai körben, amely szinte fetisizálja a PIT-et. Ennek hatása tovagyűrűzik a PhD előtt állókra, a Bolyai-ösztöndíjasokra stb. Ilyen esetben mit tehetnek kísérleti részecskefizikus kollégáink, akik úgy érezhetik, hogy teljesítményük a semmibe vész? Hivatkozniuk kell az AT egyéb elemeire (nem fontossági sorrendben):

• olyan fontos kutatások végzésének lehetőségére, amelyet a hazai infrastruktúra hiánya nem tesz lehetővé,

• a kutatás alkotás jellegére, minthogy a kísérleti részecskefizikai kutatások nagyarányú fejlesztőmunkát jelentenek,

• a nemzetközi kapcsolatok fejlesztésének lehetőségére,

• a hazai technológiai kultúra fejlesztésének14 lehetőségére,

• a várható eredmények jelentőségére,

• a nagy kollaborációk működésének biztosítására fordított szervezői tevékenységben szerzett tapasztalatokra.

Természetesen ez nem egyszerű feladat, jelentős PR-tevékenységet tesz szükségessé, amelynek módszerei egy külön tanulmányt igényelnének.

Kérdés, hogy a mindenkori kutatásértékelési gyakorlat hogyan tud a fentebb vázolthoz hasonló konfliktusokon úrrá lenni. Nemzetközi és kutatási témaértékelési szinten a többcsatornás pályáztatás enyhíti a gondokat. Egyéni szinten azonban még nem látszik eldöntöttnek a követendő eljárás minéműsége. A triviális megoldáson túl az egyik lehetőség a minél specifikusabb bizottsági és szabályozási15 rendszer, amely aprózódásának – és ezzel együtt érdekérvényesítési képességének – határt szab az illető tudományterület kis létszáma. A másik lehetőség – amint a 80-as években felmerült – a fenti problémáknak egy „interdiszciplináris” osztályon belüli kezelése. A harmadik – és úgy látszik, a leginkább megvalósuló út, az ügyek „rugalmas” kezelése16,17, ami szükségszerűen jár az értékelésbe bevont fogalmak „kiüresedésével”.18

A folyamatok kimenetelére döntő hatással lesz, hogy mennyire sikerül az adott értékelési rendszernek az adott közösség érdekviszonyainak megfelelni a gyorsan változó külső körülmények közepette.


Kulcsszavak: kísérleti részecskefizika, kutatás, kutatásértékelés, nemzetközi együttműködés, tudománymetria


IRODALOM

Gauffriau, Marianne et al. (2007): Publication, Cooperation and Productivity Measures In Scientific Research. Scientometrics. 73, 173–214.

Horváth Dezső (2008): A száz legidézettebb természetkutató. Heti Válasz. Fizinfo. 2008. január 24.

Papp Zoltán (2004a): A tudományos teljesítmény mérésének problémáiról. Magyar Tudomány. 49, 232–240.

Papp Zoltán (2004b): Válasz Braun Tibornak. Magyar Tudomány. 49, 532–533.

Papp Zoltán (2005): Az egyetemi oktatók előmeneteli rendszerének problémáiról. Magyar Tudomány. 50, 325–332.

Tóth József (2008): A magyar tudománypolitika hibái. Magyar Tudomány. 53, 215– 220.

Végh János (2008): A száz legidézettebb természetkutató. Heti Válasz. Fizinfo. 2008. január 31.

Vinkler Péter (1999): Bírálunk, de hogyan? Egy kritika margójára. Magyar Tudomány. 44, 94–97.   http://w3.atomki.hu/~zolnai/news/ekm/ekm1.htm

Z. Karvalics László (2008): Az adatsilóktól a tudomány kontrollforradalmáig. Magyar Tudomány. 74, 352–363.

Zolnai László – Berényi Dénes (1989): Kutatóintézeti tudománymetria – ATOMKI 1954–1989. Fizikai Szemle. 39, 285–291.

Zolnai László – Gácsi Zoltán (1998): Egy formula margójára – Mérünk, de mit? Magyar Tudomány. 43, 988–993.   http://w3.atomki.hu/~zolnai/news/a4/article4.htm

Zolnai László – Gácsi Zoltán (1999): Válaszolunk, de mire? Magyar Tudomány. 44, 488–-489.   http://w3.atomki.hu/~zolnai/news/a6/article6.htm

Zolnai László (2001): Tudománymetria és kollaboráció. Fizikai Szemle. 51, 264–265. http://w3.atomki.hu/~zolnai/news/DENESH.HTM



1 A fizika jelenlegi állása szerint a Világegyetem ismert tulajdonságainak egyik magyarázata az lehet, hogy feltételezzük a világegyetem nagy részét alkotó jelenlegi eszközeinkkel nem észlelhető „sötét anyag” és „sötét energia” létezését. Ehhez hasonlóan a jelen cikkben írtak is inkább egy spekulatív gondolatmenet részének tekintendők, mint tényállításoknak.

2 A társszerzők számával való beosztást az indokolja, hogy így biztosítható a társzerzők által „elszámolt” publikációs hivatkozási mennyiségek állandó volta, egyszerűbben, hogy egy publikáció vagy egy hivatkozás csak egy maradjon bármilyen összegzésben, vagyis az összeszámlálás művelete additív legyen. (Ez az eljárás csak egy a lehetséges additív eljárások közül. A legmegnyugtatóbb a társszerzőkhöz rendelt százalékos részvétel lenne, amely kezelésére az MTA Köztestületi Publikációs Adattár – KPA – már lehetőséget nyújt.) A „beosztással” analóg probléma lép fel az elszámolandó alapegységek (publikációk, hivatkozások stb.) országok és intézetek közti szétosztására nézve. Ez ugyanúgy kutatásispektrum-függő, mint az egyénre jutó saját rész.

3 A teljesség igénye nélkül három példa: Az MTA Kémiai Osztályának régebbi, a Műszaki Osztály jelenlegi Doktori Szabályzata, a Debreceni Egyetem Matematikai és Számítástudományi Doktori Iskolájának követelményrendszere a PhD-fokozatra pályázók számára.

4 http://www.mta.hu/?id=598

5 A hazai, ill. külföldön elkövetett publikációk megkülönböztetésére lásd az Orvosi Osztály régebbi Doktori Szabályzatát. Hasonló különbségtétel tárgya lehet, hogy melyik munkáltatónál számolják el az illető PIT-et (l.: MTA Tudományos Publikációs Adattár szabályzatát).

6 Jól mutatja ennek a tagnak a jelentőségét, hogy hosszú ideig az OTKA-űrlap első oldalán – a téma kifejtését megelőzően, a nemzetközi együttműködésben való részvételre vonatkozó kérdés szerepelt.

7 Az, hogy a társszerzők számával való beosztás nem idegen a hazai evaluatív tudománymetriától, az is mutatja, hogy egy előző, 1992-es értékelés első szakaszában még társszerzőszámmal beosztott mutatókat kértek.

8 Az intézetektől más teljesítménymutatókat is kértek, például az egyetemi oktatásban tartott órák számát, az intézetekben készült PhD-disszertációk számát stb. Ezeket – a rossz kérdésfeltevésből eredő „értékelhetetlen” válaszok miatt – nem vonták be az értékelésbe.

9 Science Citation Index, az Institute for Scientific Information, Philadelphia által kiadott mutató, amely a világ legjelentősebb természettudományos folyóirataiban megjelent hivatkozások adatait tartalmazza. SCI-folyóiratok mindazok a folyóiratok, amelyeket az SCI nyomon követ.

10 A hatástényezőket az SCI évente számolja ki a benne szereplő folyóiratokra. Egy folyóirat n-edik évi hatástényezője egyenlő a folyóiratban n-1. és n-2. évben megjelent közleményekre az SCI-ben az n-1 és n-2. évben fellelhető hivatkozások száma osztva a folyóiratban n-1. és n-2. évben megjelent közlemények számával. Ily módon a hatástényező az adott folyóiratban megjelent egy közleményre várható SCI-hivatkozások számára ad relatív becslést. Mivel a hatástényező egy olyan sokaságon vett átlag, amely lényegesen szélesebb, mint az egy intézetből publikált cikkek halmaza, ezért véleményem szerint csak a közelmúltban megjelent közlemények hatásának figyelembevételére célszerű használni.

11 Nem tagadva, hogy a nemzetközi együttműködésnek jelentős szinergikus hatásai lehetnek, a nemzetközi együttműködés sok esetben egyszerű bérmunkát takar. A nemzetközi együttműködés önmagában is vonzó anyagilag, annak erőltetése sokszor „forráskivonással” jár főleg a hazai infrastruktúra-fejlesztés területén.

12 Kérdéses, hogy a mutatók lineáris kombinációjánál bonyolultabb formulát érdemes-e alkalmazni.

A lineáris kombinációs formula alkalmazására példaként megemlítjük a kórházi ágyszámok elosztására, vagy a állami ösztöndíjas PhD-helyek elosztására vonatkozó formulát.

13 A tapasztalat azt mutatja, hogy a nagy kollaborációk időegységre eső publikációinak és hivatkozásainak száma jelentősen nő a kevés társszerzős együttműködésekhez képest, de közel sem annyira, hogy ellensúlyozni tudná a társszerzők számának növekedését.

14 Erre utal, hogy a CERN-tagdíjat az NKTH fizeti, az MTA-nak úgy látszik, nem eléggé „tudományos” a részecskefizikai kutatás.

15 Mondandónkkal kapcsolatos legkülönösebb termék a „lemondó nyilatkozat”; beszerzése pár száz társszerző esetén kicsit nehézkes, ám ha külföldiektől nem kell beszerezni, az eljárás enyhén szólva következetlen.

16 A Fizikai Osztályon a „kandidátusi korszak” vége felé már lejátszódott egy hasonló folyamat, lehetett fokozatot szerezni nukleáris elektronika, vákuumtechnika, szoftverfejlesztés stb. tárgykörből. Legutóbbi időben sor került lényegében szoftverfejlesztésen alapuló MTA doktora cím adományozására.

17 Érdekes jelenség, hogy míg az MTA doktora cím – amely az egyetemi tanári kinevezések feltétele is – adományozásánál az osztályok megpróbálkoznak – amúgy igen változatos – követelményrendszerek felállításával, a jóval nagyobb anyagi juttatással járó akadémiai tagság esetében megelégednek a jóval több szubjektív elemet megengedő (az AT tágabb értelmezésén alapuló) egyszerű választási procedúrával.

18 Vajon egyes esetekben mit jelent a „nemzetközileg ismert kutató” vagy „iskolateremtő munkásság”? Ezeket a terminus technicusokat meg kellene hagyni a kitüntetések, díjak adományozására. Egy-egy mutatónak jellemző sorsa, hogy egyre lazább értelmezést kap.


<-- Vissza a 2008/07 szám tartalomjegyzékére


<-- Vissza a Magyar Tudomány honlapra