Magyar Tudomány, 2004/2 232. o.

Tudós fórum

Papp Zoltán

a fizikai tudományok kandidátusa, Debreceni Egyetem, Környezetfizikai Tanszék

A TUDOMÁNYOS TELJESÍTMÉNY MÉRÉSÉNEK PROBLÉMÁIRÓL


A Magyar Tudomány hasábjain az utóbbi években több írás is foglalkozott a tudományos eredményesség, illetve teljesítmény mérésének lehetőségeivel és korlátaival. Saját írásommal ehhez az eszmecseréhez szeretnék kapcsolódni. Rá akarok mutatni olyan körülményekre, melyek nagyon bizonytalanná teszik egyének, csoportok vagy intézmények tudományos eredményességének, teljesítményének a ma jobb híján használt mutatók (közlemények és hivatkozások száma, impakt faktor) alapján való megítélését. Teszek továbbá néhány javaslatot, amelyeket követve az értékelés megbízhatósága javulhatna.

Tisztában vagyok azzal, hogy a tudományos eredményesség, illetve teljesítmény (egységnyi időszakra vonatkozó eredményesség) "mérésének" ma már kiterjedt szakirodalma, sőt saját nemzetközi folyóirata is van. Be kell vallanom, hogy nem ismerem a téma nemzetközi irodalmát. Saját - meglehet, hiányos - ismereteim az utóbbi években magyarul (főként folyóiratokban) közölt írásokból, valamint gyakorlati tapasztalataimból származnak. Ezek alapján úgy látom, hogy a tudományos közösségnek az a része, amely a témával behatóbban foglalkozik, nagyjából egyetért a következőkben: (1) a tudományos teljesítmény (továbbiakban: teljesítmény) eléggé nehezen megfogható fogalom, ami nagyjából a tudományos kutatómunka mennyiségét, minőségét, értékét, jelentőségét foglalja magában (időegységre vonatkoztatva); (2) a teljesítmény mérésére vagy legalábbis hozzávetőleges értékelésére minden szinten szükség van; (3) mivel az értékelés komoly egzisztenciális, illetve anyagi érdekeket érint, azt lehetőleg objektív adatok alapján, a szubjektív elemek kizárásával kell végezni; (4) a rendelkezésre álló egyszerű objektív adatok között nincs egy olyan sem, amelyre alapozva az értékelés könnyen, gyorsan, egyszerűen és ezzel együtt megbízhatóan elvégezhető lenne, ezért az értékelésnek több adatra ki kell terjednie, és ezeket az adatokat komplex, beleérző módon, az eseti specialitásokra is figyelemmel kell értékelni. Egyetértve a fentiekkel, szeretném felhívni a figyelmet arra, hogy a két utóbbi követelmény egymásnak ellentmond. Ugyanis ha az értékelést nem lehet kevés egyszerű adat alapján, kvázi automatikusan végrehajtani, akkor a szubjektivitás szerepe fölerősödhet, az objektivitás sérülhet. Ráadásul a sok adatra kiterjedő, komplex értékelés technikailag is nehéz, munka- és időigényes. Ezért érthető a vágy, hogy az értékelést mégiscsak egy vagy néhány egyszerű adatra alapozzuk. Tény, hogy a gyakorlatban nem nagyon tudunk elszakadni attól, hogy a teljesítményt a legerősebbnek ítélt mutatók, a közlemények és hivatkozások száma, illetve az impakt faktor alapján próbáljuk megítélni. E mutatókkal azonban sok gond van. Ezekről már többen is írtak. A fő baj az, hogy bár a mutatók értéke a teljesítménytől is függ, a mutatókat más, a teljesítménytől független tényezők is erőteljesen befolyásolják. Emiatt a mutatók és a teljesítmény közötti kapcsolat túl laza, s így a mutatók nem megbízható mércéi a teljesítménynek.

Ha világosan látnánk, hogy mik is a fő gondok a fenti mutatókkal, akkor ez a tudás talán elvezethetne bennünket olyan megoldásokhoz, melyek segítségével az értékelés egyszerűsíthető, annak megbízhatósága pedig javítható lenne. Az alábbiakban áttekintem a tárgyalt mutatókkal kapcsolatos fő problémákat. Ezek jelentős hányada korábbi írásokban egyáltalán nem, vagy nem eléggé hangsúlyosan merült fel. Ezt követően olyan megoldásokat fogok javasolni, amelyek a teljesítmény értékelése terén egyszerre tennék lehetővé az elmozdulást az egyszerűség és az objektivitás irányába.

Mit is mérünk valójában?

Nézzük meg közelebbről, milyen gondok vannak a fenti mutatókkal. Vegyük elsőként a közlemények számát. Olvasóim jól tudják, hogy a tudományos közlésnek igen sok formája van, és hogy a különböző formák értéke különböző. Azt viszont már nem könnyű megítélni, hogy a különböző formák relatív értéke mekkora. Például: hány hazai konferencia-előadás ér egy nemzetközi folyóiratcikket? Erre nem is igen lehet általános érvényű választ adni, hiszen az értékarány konkrét esetben a közlések tartalmától és pontos helyétől is függ. Mindenesetre, különböző személyek, csoportok, intézmények közleményeinek a különböző közlési formák közötti megoszlása nagymértékben eltérhet, s így könnyen előfordulhat, hogy a közlések nagyobb összes száma valójában kisebb értékű teljesítményt takar. Ez persze biztosan nem újdonság az olvasó számára, és odáig azért már eljutottunk, hogy a teljesítmény megítéléséhez nem a közlemények összes számát használjuk, hanem az egyes közlésformákat - azok hozzávetőleges relatív értékére is tekintettel - külön-külön vizsgáljuk.

Azon célból, hogy a fenti probléma ne nehezítse tovább a dolgunkat, vegyünk egy egyszerű esetet. Tegyük fel, hogy két személy vagy intézmény (A és B) egy kivételével minden közlésformában pontosan egyenlő számú közleményt produkált, az egyetlen különbség közöttük az, hogy A-nak kétszer annyi cikke jelent meg nemzetközi folyóiratokban, mint B-nek. Azt gondolhatnánk, hogy A teljesítménye nagyobb, mint B-é, de az alábbiakban meg fogom mutatni, hogy erre nincs semmilyen garancia! Ennek három fő oka van: (1) különböző tudományágak, szakterületek vagy témák esetében - objektív okok miatt - az egy cikk létrehozásához szükséges munkamennyiség, illetve idő jelentősen különbözhet; (2) több módszer is létezik, melyekkel a közlemények száma jelentősen növelhető igen kevés többletmunka árán; (3) a tudományos közösség a közlemények számolásának olyan - helytelen, igazságtalan - módját alkalmazza, amely meg nem érdemelt előnybe hoz egyeseket másokkal szemben. Vizsgáljuk most meg ezeket kissé részletesebben!

Eléggé nyilvánvaló, hogy egy rövidebb cikk megszövegezése kevesebb időt igényel, mint egy hosszabbé. Ennél fontosabb azonban, hogy a cikket megalapozó kutatás idő- és munkaigénye nagyon különbözhet aszerint, hogy milyen módszerek kerültek alkalmazásra (számolást nem igénylő tiszta elméleti, számolásigényes elméleti, statisztikai, kísérleti, irodalmazás stb.), és hogy mi a munka tényleges tartalma. Az ilyen különbségek nemcsak tudományágak között, hanem egy tudományágon belüli szakterületek között (például elméleti-kísérleti), sőt egyes szűk kutatási témák között is megjelenhetnek. Egyes területeken vagy témákban adott idő alatt - azonos munkabefektetéssel - jóval több cikket lehet írni, mint más területeken vagy témákban. Eszerint lehetséges, hogy fenti példánkban valójában B végzett több és értékesebb munkát, csak éppen ez kevesebb cikk formájában jelent meg a nagy fajlagos idő- és munkaigény miatt. Ennek megítélése nyilván nem lehetséges a cikkek tartalmának részletes elemzése nélkül.

Néhány folyóiratcikk közlésének tapasztalata alapján könnyen rájöhetünk arra, milyen lehetőségek vannak a cikkek számának szaporítására viszonylag kevés többletmunka és idő ráfordításával. Egyszerű és morálisan sem kifogásolható módszer az, hogy egy nagyobb kutatás eredményeit nem egyetlen hosszú cikkben, hanem elaprózva, részletenként, több rövid, egymáshoz kapcsolódó cikk formájában közöljük. Ezzel ráadásul a cikkek száma mellett a várható hivatkozások számát is növelhetjük, hiszen különböző cikkekre való hivatkozásokat külön lehet elszámolni. Erkölcsileg már nem kifogástalan az az eljárás, hogy ugyanazokat az eredményeket több alkalommal közöljük, nagyjából megegyező tartalmú, kissé különböző formájú cikkekben, különböző folyóiratokban. Ezzel ugyanis becsapjuk a másod- vagy harmadközlő folyóiratot, hiszen a folyóiratok eredeti eredményeket szeretnének közölni, amelyek másutt még nem jelentek meg. A lektorálás felületessége miatt azonban a másod- vagy akár harmadközlés könnyen kivihető, és sokszor a folyóiratok is engedékenyek ezügyben, hiszen működésük alapvető feltétele, hogy legyen elég sok, változatos tartalmú, színvonalas, közölhető kézirat, amelyből válogathatnak. A cikkszám szaporításának legeredményesebb módja azonban kétségkívül az együttműködő partnerek gyűjtése, a csoportmunka és az eredményes "publikációs társulásokhoz" való csatlakozás. Ha ugyanis egy cikket (az azt megalapozó kutatást is beleértve) nem egyedül kell kiviteleznünk, hanem egy partner is segítségünkre van, akkor a terhek nyilván megoszlanak, s így a cikk létrehozása részünkről csak (átlagosan) feleakkora munkát és időt igényel, mint ha egyedül dolgoztunk volna. A megmaradó idő és energia elég lehet egy másik cikk (kutatás) kivitelezésére. Ha nem csak egy partnerünk van, hanem például kilenc, akkor a munkának (átlagosan) csak egytized része hárul ránk, és így - rendszeresen ezzel a csoporttal együtt dolgozva - egységnyi idő alatt tízszer annyi cikket tudunk közölni, mint ha egyedül dolgoznánk. Ez tovább is fokozható: manapság már több száz tagú, együtt publikáló kutatócsoportok is működnek, melyek szinte ontják a cikkeket! A dolog erkölcsileg nem kifogásolható, legalábbis addig, amíg az egyénnek a közös munkában való részvételi aránya különbözik a nullától. Nem lehetünk azonban biztosak abban, hogy ez mindig így van. A jelenlegi közleményszámolási szokások mellett ugyanis nagyon csábító az a lehetőség, hogy az azonos területen dolgozó, de közös munkát valójában nem végző kutatók kölcsönösségi alapon bevegyék egymást cikkeik szerzői közé. Magyarán: beveszlek téged társszerzőnek, ha te is beveszel engem. Egy ilyen megegyezés mindkét fél számára nagyon előnyös, hiszen mindketten munka nélkül juthatnak egy-egy cikk szerzőségéhez. A dolog annál hatékonyabban működik, minél többen vesznek benne részt. Az ilyen, valójában nem együtt dolgozó, de együtt publikáló kutatók csoportjait nevezem publikációs társulásoknak (megkülönböztetésül a valóban együtt dolgozó kutatócsoportoktól). Ne vegyünk rá mérget, hogy ilyen társulások nem léteznek! Fenti példánkhoz visszatérve, könnyen lehet, hogy valójában B végzett nagyobb és értékesebb munkát, csak éppen kisebb mértékben, illetve hatékonysággal alkalmazta az előbbi cikkszaporító módszereket, például kevesebb együttműködő partnerrel dolgozott. Ennek megítélése csak a cikkek tartalmának és szerzőszámának elemzése alapján lehetséges.

A sok partnerrel való együttműködés a fentiek szerint lehetővé teszi a közleményszám (és persze ehhez kapcsolódóan a hivatkozásszám) megsokszorozását, ami egy eléggé elterjedt tévképzet szerint a tudományos teljesítmény megsokszorozását is jelenti. E tévképzet azon alapul, hogy jelenleg a közleményeket minden társszerzőnek teljes egészként szokás elszámolni, függetlenül attól, hogy azok kivitelezésében hány más szerző vett részt. Ez azonban ahhoz vezet, hogy a közleményszám köszönő viszonyban sincs a valóságos tudományos teljesítménnyel. Nézzünk egy egyszerű példát. Vegyünk egy tízfős kutatócsoportot, amely együtt dolgozva egy adott évben tíz nemzetközi folyóiratcikket közölt. Mindegyikük neve ott van minden cikk címe alatt, tehát a csoport bármely tagja ebben az évben tíz cikket számolhat el magának saját publikációs listájában. Ugyanabban az évben egy egyedül dolgozó kutató egyetlen ugyanilyen kategóriájú cikket tudott közölni. Vajon kisebb-e az ő tudományos teljesítménye, mint a fenti csoport egy tagjáé? Nem kisebb, hiszen a csoport egy főre eső cikktermelése (ha nem voltak csoporton kívüli együttműködők) 10 cikk / 10 fő = 1 cikk/fő, ami pontosan megegyezik az egyedül dolgozó kutatóéval. Ha tehát a valóságos teljesítménnyel szorosabb kapcsolatban lévő mennyiséget keresünk, akkor nem a cikkek számát, hanem a cikkekhez való saját hozzájárulásokat kell összegezni, vagyis a cikkeket a társszerzők között szét kell osztani! Mivel a csoport minden közleménye tízszerzős volt, a tagok saját hozzájárulása minden egyes cikkhez (átlagosan) csak egytizednyi. Az egytizednyi hozzájárulásokat összeadva kapjuk meg a valóságos tudományos teljesítményt leíró 1 cikk/fő(/év) értéket. Ehhez hasonlóan, egy csoport vagy intézmény esetében a csoporthoz/intézményhez tartozó szerzők saját hozzájárulásait kell összegeznünk ahhoz, hogy a csoport/intézmény teljesítményéről valós képet kaphassunk. Mindez teljesen nyilvánvaló, és matematikailag is egyszerű. Ennek fényében talányos, hogy vajon miért nem így járunk el a gyakorlatban? Észérvekkel ezt nem lehet ugyan megindokolni, de egy bizonyos fokig meg lehet érteni. Talán az a késztetés működik itt is, amely például egy politikust arra vesz rá, hogy a sok rendelkezésre álló adat közül mindig éppen arra hivatkozzon, azt idézze, amellyel önmagát kedvezőbb, ellenfelét pedig kedvezőtlenebb színben tüntetheti fel. Igen, szeretünk minél nagyobb számokat látni publikációs listáinkban, mert ez a külső véleményalkotókban jobb benyomást kelt, s ezért szívesebben összegezzük a cikkek számát, mint csupán a saját hozzájárulásokat. Ez az eljárás azonban indokolatlan, meg nem érdemelt előnyben részesíti a sok partnerrel dolgozó kollégákat, és visszaélésre is csábít (lásd publikációs társulások).

Folytassuk vizsgálódásunkat az impakt faktorral (IF)! Az IF a folyóiratok jellemzője. Nagyjából azt mutatja meg, hogy az adott folyóiratban megjelenő cikkek várhatóan (átlagosan) hány hivatkozásra számíthatnak a tudományos szaksajtóban. (A pontosabb definíciót lásd például Zolnay - Gácsi, 1998.) Ha egy cikk megjelenik egy folyóiratban, akkor a folyóirat IF-je a cikkhez is hozzárendelhető, és addig is, amíg a cikkre való hivatkozások tényleges száma (évek múltán) ki nem derül, használható annak jóslására. Térjünk vissza eredeti példánkhoz, és most tegyük fel azt, hogy a két személy vagy intézmény (A és B) minden közlésformában pontosan egyenlőt produkált, és a cikkszaporító módszereket is ugyanolyan hatékonysággal alkalmazta. Az egyetlen különbség közöttük az, hogy a cikkekhez rendelhető IF-ek összege A esetében kétszer annyi, mint B-ében. Vajon igaz-e, hogy A teljesítménye nagyobb, mint B-é? Mindjárt kiderül, hogy erre sincs semmilyen garancia!

A folyóiratok IF-jei 0 és kb. 50 közötti értékek, évről évre is változnak. Az 1999-es listában 5550 folyóirat szerepelt. 10-nél nagyobb IF érték mindössze hatvan esetben (1,08 %) fordult elő. A folyóiratok többségének (60,4 %) IF értéke 1-nél kisebb volt. Vajon milyen kapcsolat lehet az IF és a teljesítmény között? Mivel az IF a hivatkozások számára vezethető vissza, a válasz attól függ, hogy a hivatkozások száma és a teljesítmény között milyen a kapcsolat. Ezzel egy kissé lejjebb majd részletesebben foglalkozom. Egyelőre azon gondolkozzunk el, hogy vajon miért különböznek a folyóiratok IF-jei, milyen tényezők határozzák meg őket? A nagyobb IF-fel jellemzett folyóiratok nagyobb teljesítményeket takaró cikkeket közölnek? Nem, az IF-ek eltéréseinek nem ez lehet a fő oka, hiszen ha a folyóiratok IF-jeit egymáshoz viszonyítjuk, a tízszeres, százszoros eltérések sem ritkák, sőt ezerszeresek is előfordulnak! A teljesítmények között ilyen arányokat nehéz elképzelni, vagyis más okokat kell keresnünk.

Nagyon jól tudjuk, hogy a folyóiratok elsősorban nem a közlendő cikkek minősége, hanem azok tartalma szerint szerveződtek. Túlnyomó többségük egyértelműen egyes tudományágakhoz, azokon belül pedig egyes szűkebb szakterületekhez kapcsolódik. A több tudományágat vagy szakterületet átfogó folyóiratok részaránya nagyon kicsi. A különböző tudományágak, szakterületek művelői a közlés és hivatkozás szempontjából egymástól szinte teljesen elkülönülnek, hiszen például csillagászok és agykutatók nemigen közölnek egy helyen, és szinte biztosan nem hivatkoznak egymás cikkeire. Minden szakterületnek van több-kevesebb "saját" folyóirata, a szakterület kutatói ezekben közölhetnek cikkeket, és ezekben megjelent cikkekre hivatkozhatnak. Ha a folyóiratokat tudományáganként illetve azon belül is szakterületenként csoportosítjuk, akkor azt vehetjük észre, hogy a szakterületek "vezető" (legnagyobb IF-ű) folyóiratainak IF-jei szakterületenként nagymértékben különböznek. Van olyan szakterület, ahol a vezető folyóirat IF-je is 1 alatt van, és van olyan, ahol ugyanez 10 fölött található. Az egyik területen dolgozó kutató hiába erőlködik, nem tud 1-nél nagyobb IF-ekhez jutni, míg a másik területen működő kollégája 10-nél nagyobbakat is szerezhet. Mi az oka a szakterületek közötti ilyen nagy eltéréseknek? Bizonyára nem csak egy ok van. Ismert például, hogy a cikkek "hivatkozás-szükséglete" - tartalmukból adódóan - egyes területeken (például matematika) kicsi, más területeken (például élettudományok) nagy lehet (Csermely et al., 1999). Bizonyára fontos szerepe van annak is, hogy a különböző szakterületeken dolgozó kutatók száma nagymértékben különbözik. Egy kis létszámú szakterületnek esetleg csak egyetlen saját folyóirata van, amelyben jórészt csak az ugyanitt megjelent cikkekre lehet hivatkozni. Ezzel szemben egy nagyobb létszámú szakterület több folyóiratot is el tud tartani. Több folyóirat esetén a folyóiratok maguk között minőség szerint differenciálódhatnak, egyes (például régebbi vagy angolszász) folyóiratok idővel nagyobb tekintélyre tehetnek szert, nagyobb kéziratkínálatból válogathatnak, s így jobban ki tudják mazsolázni a cikktermés legjavát. A vezető folyóiratban megjelent cikkekre a többi folyóiratban is gyakran hivatkoznak, így jelentősen nőhet a vezető folyóirat IF-je. Annál nagyobbra nőhet, minél több a folyóirat (és a kutató) az adott szakterületen. A vezető folyóirat eléggé természetes módon nemcsak a jó minőségű cikkeket igyekszik közölni, hanem azokat is, amelyek várhatóan sokakat érdekelnek. Ez a gyakorlat ahhoz vezet, hogy az adott szakterületen belül is előnybe kerülnek másokkal szemben azok a kutatási témák, melyekkel nagyobb létszámú kutatógárda foglalkozik. Az ő cikkeiket szívesebben közlik a vezető folyóiratok, és ezek a cikkek több hivatkozást is kapnak (egymástól), mint mások. Tetten érhető a nemzeti elfogultság is: például szívesebben közlik angolszász szerzők (nyelvileg is színvonalasabb) cikkeit. A több szakterületet vagy több tudományágat átfogó folyóiratok szerkesztői is azokat a területeket illetve témákat részesítik előnyben, amelyeket (elsősorban az angolszász országokban) sokan művelnek. Például a Nature vagy a Science esetében, melyek már az IF növelésében is versenyeznek egymással, mára a kéziratok elbírálásánál gyaníthatóan jelentős szemponttá vált, hogy azok megjelenés esetén hány hivatkozásra számíthatnak. Egyes kis létszámú, a többség számára kevéssé érdekes szakterületeknek illetve kutatási témáknak szinte semmi esélyük sincs bekerülni ezekbe a lapokba, akármilyen jelentős kutatási teljesítmény található a kéziratok mögött. Fenti példánk esetében lehetséges, hogy valójában B végzett nagyobb és értékesebb munkát, csak épp kis létszámú vagy kis hivatkozás-igényű szakterületen, illetve kevesek által kutatott témában dolgozott, esetleg ráadásul nem angolszász együttműködő partnereket választott.

A fentiek szerint az IF különböző tudományágakban vagy tudományterületeken kifejtett teljesítmények összehasonlítására teljesen alkalmatlan (lásd még Verő, 1998). Egy adott tudományterületen belül dolgozók összehasonlítására esetleg alkalmas maradhat, de csak akkor, ha a kisebb módosító tényezők (a kutatási téma hivatkozás-igényessége, tudományterületen belüli létszámhelyzete, társszerzők nemzetisége) hatását is figyelembe vesszük, és - a közleményekhez hasonlóan, a társzerzőségi arányt alapul véve - saját hozzájárulásokat számolunk és összesítünk.

Lépjünk még tovább, és vizsgáljuk meg a hivatkozások számát. Eddigi példánkat folytatva tegyük fel, hogy a két személy vagy intézmény (A és B) minden eddig vizsgált tekintetben pontosan egyenlőt produkált, még a közleményeikhez rendelhető IF-ek is egyformák. Az egyetlen különbség közöttük az, hogy a megvalósult hivatkozások száma A esetében kétszer annyi, mint B-ében. Vajon biztos-e, hogy A teljesítménye nagyobb vagy jobb, mint B-é? Nem, ezt sem lehet biztosra venni!

Ott kezdeném, hogy a hivatkozásnak - a közleményhez hasonlóan - több különféle, különböző értéket képviselő formája van. Ha csak annyit mondunk, hogy hivatkozás, akkor abba belefér egy egyetemi hallgató hivatkozása szakdolgozatában témavezetője személyes szóbeli közlésére, vagy a saját munkára akárhol történő önhivatkozás is. Érdekes megfigyelni, hogy amikor különböző fórumokon kutatók tudományos tevékenységét méltatják, hogyan váltakoznak a "hivatkozás", "független hivatkozás", "hivatkozás nemzetközi folyóiratokban", "független hivatkozás nemzetközi folyóiratokban", "független hivatkozás SCI-folyóiratokban" kifejezések. (Ha a szigorúbb körülhatárolás túl kicsi eredményt ad, akkor enyhítünk a szigorúságon a nagyobb szám érdekében.) Pedig nyilvánvaló: ha különböző személyeket vagy intézményeket akarunk összehasonlítani, akkor minden esetben pontosan ugyanazt a mutatót kellene használnunk. A hivatkozásokkal kapcsolatban az is gondot jelent, hogy sokkal nehezebb ellenőrizni ezek tényleges meglétét, mint a közleményekét. Az SCI (Science Citation Index) által figyelt folyóiratokban való hivatkozások ma már a világhálón könnyen ellenőrizhetők, a többi kategória esetében azonban az ellenőrzés nehéz, ezért ezekben nagy a lehetőség a szépítésre vagy a csalásra.

Többen írtak már arról, hogy a hivatkozások számában milyen eltéréseket okozhat a sajátos tartalom, például review-cikkek, módszerek leírásai, vagy akár téves eredmények is sok hivatkozásra számíthatnak. Arról is esett szó, hogy a hivatkozások számát szubjektív tényezők (szimpátia, rivalizálás, nemzeti elfogultság stb.) is jelentős mértékben befolyásolhatják. Ehhez én hozzátennék még két dolgot. Az egyik az, hogy igen sok múlik az együttműködő partnerek megválasztásán: Nobel-díjas, angolszász vagy magyar viszonylatban sikeres (akadémikus) társszerzőkkel jóval több hivatkozásra számíthatunk. A másik, hogy valószínű a kölcsönös érdekeken alapuló hivatkozási kapcsolatok kialakulása. Vagyis: hivatkozom rád, ha te is hivatkozol rám.

Nem kapott azonban kellő hangsúlyt eddig az a dolog, ami szerintem a legfontosabb, nevezetesen, hogy általában több hivatkozásra számíthatnak azok, akik "népesebb" kutatási területen vagy kutatási témában dolgoznak. A hivatkozás alapja ugyanis legtöbbször nem a hivatkozott közlemény kiválósága, hanem annak a hivatkozó közleménnyel való tematikai rokonsága! Csillagászok és agykutatók nem hivatkoznak egymásra, akármilyen kiváló cikkekről van is szó. Ez azonban az egy tudományágon belüli különböző szakterületekre, sőt, a szakterületeken belüli különböző kutatási témákra is eléggé fennáll. Ha valamely kutatási témában csupán egyetlen kutató vagy csoport dolgozik a világon, akkor akármilyen magas színvonalú a munkája, hivatkozásra nemigen számíthat. Ha már ketten is kutatják a témát, akkor legalább egymásra hivatkozhatnak. Minél több az adott témán dolgozó kutató vagy csoport, annál nagyobb számban találhatnak egymás közleményei között hivatkozásra alkalmasat. Felső korlát persze van, hiszen ha valamely témán több százan vagy több ezren dolgoznak, akkor egyrészt képtelenné válhatnak egymás közleményeinek figyelemmel kísérésére, másrészt a folyóiratok is határt szabnak a hivatkozások számának terjedelmi okokból. Úgy tűnik tehát, hogy - legalábbis a nem nagyon népes témákban vagy szakterületeken - a hivatkozások száma jobban függ a téma vagy szakterület népességétől, mint a cikk kiválóságától.

Szintén nem kapott kellő hangsúlyt az eddigiekben az a helyzet, hogy egyedi esetekben a kapott hivatkozások száma nagymértékben függhet további, nehezen követhető vagy számba vehető véletlen körülményektől, egyszerűbben fogalmazva a szerencsétől. Ezen belül lényeges az időtényező szerepe: aki egy adott eredményt egy picivel hamarabb ér el, az nyeregbe kerülhet, mivel mindenki őrá fog hivatkozni, nem arra, aki ugyanakkora teljesítményt nyújtva egy kissé elkésik. Részben ez vezet az egyes területeken már szinte hisztérikussá váló versenyhez.

A fentiek alapján elképzelhető, hogy a példánkban szereplő, összehasonlítandó felek közül valójában B volt az, aki nagyobb teljesítményt nyújtott. Még ha biztosak vagyunk is benne, hogy pontosan ugyanazt a hivatkozásfajtát hasonlítjuk össze, és a csalás is ki van zárva, akkor is lehetséges, hogy B egyszerűen csak egy kisebb népességű kutatási témán dolgozott, nem volt szerencséje (például elkésett), nem hírneves, illetve angolszász társszerzőkkel dolgozott, stb.

Ma sokan a hivatkozások számát tekintik a "legerősebb", a tudományos teljesítmény jellemzésére legalkalmasabb mutatónak. Olyannyira, hogy tudományos fokozat vagy habilitáció odaítélésében illetékes testületek állítólag egyszerűen egy bizonyos hivatkozásszám eléréséhez kötik az eljárások sikerét. A fentiek fényében azonban nem világos, hogy min alapul e mutató tekintélye. Hiszen nem lehet komoly döntéseket alapozni egy olyan mutatóra, amely ennyire függ a tudományág/szakterület/téma népességétől, a társszerzők számától, nemzetiségétől és hírnevétől, a sajátos tartalomtól, szubjektív tényezőktől, szerencsétől, becsületességtől! E mutató különböző tudományágakban, szakterületeken vagy akár csak különböző kutatási témákon dolgozó személyek vagy csoportok összehasonlítására szinte használhatatlan. Erről esett már szó a magyar szaksajtóban is (Braun, 2001), a mindennapi gyakorlatban azonban nemigen veszik tudomásul. Ez a mutató egy kutatási témán vagy szűkebb szakterületen belül is legfeljebb csak akkor használható, ha a társszerző-számtól való nagymértékű függést kiküszöböljük, vagyis - a közleményekhez és az IF-hez hasonlóan - a hivatkozásokat is szétosztjuk a társszerzők között a szerzőség aránya alapján. A többi zavaró tényező azonban még így is megmarad, és ezek hatása csak részletes vizsgálatok alapján becsülhető.

A szakasz címében megfogalmazott kérdésre tehát azt a választ lehet adni, hogy amit jelenlegi módszereinkkel mérünk, az nem a teljesítmény, hanem egy kevéssé átlátható, bonyolult összetételű katyvasz, melynek a teljesítmény csak egy, és talán nem is meghatározó eleme.

Javaslatok

Jelenlegi értékelési szokásaink meg nem érdemelt előnybe hoznak egyeseket másokkal szemben, jelentős teret adva az ügyeskedésnek, sőt, akár a csalásnak is. Ezt példákkal is lehetne igazolni. (Többször olvashattunk például kutatók méltatásaiban igen nagy publikáció- és hivatkozás-számokról, amelyek nyilván soktársszerzős együttműködések eredményei, de nem sokat mondanak az illetők saját tevékenységének értékéről.) Valós teljesítmény ilyen helyzetben csak igen bizonytalanul ítélhető meg. Ez a helyzet a kutatók, csoportok, intézetek és tudományágak között feszültségeket gerjeszt. Ahhoz, hogy a jövőben igazságosabb ítéleteket hozhassunk, értékelési rendszerünket, szokásainkat úgy kell megváltoztatni, hogy egyének, csoportok, intézetek saját, valós tudományos teljesítményeit tudjuk minél jobban megítélni, lefosztva róluk a lehető legtöbb zavaró tényezőt.

Milyen mutatókat használjunk ebből a célból, s milyen prioritással? Szóba jöhetnek-e a fent tárgyaltaktól gyökeresen eltérő mutatók? Először az utóbbi kérdésre válaszolok. Felmerülhet, hogy egy komplex értékelés részeként olyan dolgokat is vizsgálni lehetne, mint a pályázati eredményesség, tudományos díjak, bizottsági és testületi tagságok, konferencia-meghívások stb. (Mezei, 2001). Ezekkel azonban még több a gond, mint a már tárgyaltakkal. Amellett, hogy bonyolítják az értékelést, és kezdőknél nemigen használhatók, nem is függetlenek. Jelentős mértékben függenek ugyanis a korábban tárgyalt mutatóktól, valamint számos egyéb, a teljesítménnyel nem összefüggő tényezőtől. Ezért szerintem a fentebb részletesen tárgyalt fő mutatók módosított változataira kell alapoznunk, az eddigitől eltérő prioritással. Először is, mindegyik mutató esetében saját részesedést kell számolni és összesíteni a társszerzőségi arány alapján. Ezt a "szétosztásos" megoldást egyes esetekben már alkalmazták (Zolnai, 2001a), és a fentiek szerint indokolt általánosan bevezetni. A technikailag legegyszerűbb eljárás az lenne, ha a mutatókat (közleményenként) a szerzőszám reciprokával szoroznánk, és egy-egy szerzőnek e szorzatokat számolnánk el. Tudjuk azonban, hogy a társszerzők részvételi aránya egy közlemény kivitelezésében általában nem egyforma, és ezt legtöbben - jobb híján - a szerzők sorrendjével veszik figyelembe. (Az első szerző részesedése a legnagyobb, a másodiké kisebb stb.) A legtisztességesebb megoldás ezügyben nyilván az lenne, ha a szerzők a közléskor megegyeznének az arányokban, és ezeket valamilyen módon feltüntetnék a közleményekben. Ennek híján egy a reciprokos módszernél igazságosabb eljárást kapunk, ha például a részesedéseket egy 1 összegű véges mértani sorozat elemeivel becsüljük. Egy n elemű mértani sorozat elemeinek összege a1(qn-1)/(q-1), ahol a1 az első elem, q pedig a hányados. Ha például n szerző esetén a q = (n-1)/n hányadost választjuk, akkor két szerzőnél a 0,66 és 0,33, három szerzőnél a 0,47, 0,32 és 0,21, öt szerzőnél a 0,30, 0,24, 0,19, 0,15 és 0,12 részesedések adódnak.

Csoportok, intézetek, sőt az ország teljesítményének reális megítéléséhez az odatartozók egyéni részesedéseit kell összegezni. Lehet, hogy ennek következtében kiderülne, illúzió az a széles körben elterjedt vélekedés, hogy hazánk a kutatás eredményessége tekintetében a világ élvonalában van. E vélekedés ugyanis azon alapszik, hogy a statisztikákban magyarnak tekintünk minden olyan közleményt, amelynek van magyar társszerzője. Ez azonban jogtalan (Zolnai, 2001b)!

A korábbiak szerint a tudományos teljesítménnyel legszorosabb kapcsolatban lévő, egyéb tényezőktől legkevésbé befolyásolt mutató a közleményszámból számolt saját részesedés, ezért ennek kellene prioritást adni. Az IF-ből és a hivatkozásszámból számolt saját részesedéseket csak szűkebb szakterületeken belüli összehasonlításra szabad használni, és ott is csak óvatosan, figyelemmel az egyéb tényezők hatására. A közleményszám előtérbe kerülése (a hivatkozásszámmal szemben) a teljesítmény mennyiségi jellegét erősítené. A minőség is elegendő teret kaphat azonban, ha a közleményszám-részesedéseket közlemény-fajtánként tartjuk számon, és az IF, illetve a hivatkozásszám helyett inkább azt figyeljük, hogy a kutató publikál-e, illetve milyen arányban, saját szakterületének legtekintélyesebb hazai, illetve nemzetközi folyóirataiban.

A tudományos közösségnek érdeke és erkölcsi kötelessége is, hogy a fenti ügyekben átláthatóbb, tisztább helyzetet teremtsen, végső soron az anyagi források igazságosabb elosztása érdekében. A kutatóintézetek és egyetemek alkalmazottainak bére, a különféle ösztöndíjak és tiszteletdíjak, valamint a kutatások költségeinek túlnyomó hányada a költségvetésből, adóforintokból származik. A társadalom ezért jogot formálhat arra, hogy megítélje, igazságosan történik-e a tudománynak és a felsőoktatásnak adott pénzek elosztása. A tudományt erkölcsileg és anyagilag is jelentős kár érhetné, ha megmaradnánk jelenlegi gyakorlatunknál, és ennek visszásságai - például az, hogy egyesek nem igazán megérdemelten, nem a saját, valós teljesítményükkel szerezték meg tudományos címüket - reflektorfénybe (a sajtó és a média érdeklődési körébe) kerülnének. Az erkölcsi és anyagi veszteség egy ilyen esetben kisebb lehet, ha tudjuk igazolni, hogy számottevő erőfeszítéseket tettünk a helyzet javítására. Ezért a cselekvést nem szabad halogatni!


Kulcsszavak: tudományos teljesítmény mérése, tudományos közlemény, hivatkozás, impakt faktor


IRODALOM

Braun Tibor (2001): Pendlebury listája. Magyar Tudomány. 46, 5, 600-601

Csermely Péter - Gergely P. - Koltay T. - Tóth J. (1999): Kutatás és közlés a természettudományokban. Osiris, Budapest

Major Péter (2001): A felsőoktatás néhány problémájáról. Magyar Tudomány. 46, 4, 477-480

Mezei Károly (2001): Mi mennyi? Élet és Tudomány. 2001/31, 968-970

Verő József (1998): Összehasonlíthatók-e egyes tudományterületek? Idézettség és tudományos teljesítményt mérő értékek. Magyar Tudomány. 43, 8, 994-1001

Zolnai L. (2001a): Tudománymetria és intézeti kollaboráció. Fizikai Szemle. 51, 264-265

Zolnai László (2001b): Mennyire magyar a magyar? Magyar Tudomány. 46, 12, 1497-1498

Zolnai László - Gácsi Zoltán (1998): Mérünk, de mit? Egy formula margójára. Magyar Tudomány. 43, 8, 988-993


<-- Vissza a 2004/2 szám tartalomjegyzékére