Evaluarea rezultatelor cercetării noastre este vitală pentru noi. Desigur, facem eforturi de a ”descoperi adevărul”. Da, dar cine-l știe? Noi avem o procedură mai practică. Care este impactul ideilor noastre: le receptează ceilalți colegi? le utilizează în activitatea lor?  ei le apreciază? Prestigiul științific este rezultatul produselor noastre.

Voi lua cazul sociologiei. Și voi imagina un caz, nu real, ci posibil.

Să presupunem că sunt directorul unei instituții de cercetare științifică. În calitate de director sunt responsabil, printre altele, de selectarea și promovarea cercetătorilor din institut, de moralul institutului. ”Moralul” instituției este afectată de corectitudinea procesului de selecție și promovare.

Presupunem că un post de cercetător I sau II este scos la concurs și sunt 5 candidați.

În sistemul actual, ca director nu am niciun cuvânt de spus. Ministerul decide cine va câștiga concursul, nu direct, ci prin criteriile de evaluare pe care le adoptă. 

Ministrul alcătuiește o listă enormă de activități de cercetare științifică. Ministrul stabilește punctajul fiecărui criteriu. Au fost discutate criteriile de evaluare și punctarea lor în comunitatea științifică ? Răspunsul este: NU.  Cine a făcut propuneri Ministrului? Nu prea se știe.

Să luăm câteva exemple imaginar. Pentru o carte sunt acordate 10 puncte. Un studiu într-o revistă de specialitate 2 puncte. Dacă e în limbi străine, punctajul crește cu 25%. Dacă editurile/revistele sunt din străinătate, punctajul mai crește cu 50%. Dacă e într-o revistă foarte bine cotată (ISI), să zicem punctajul se dublează.

Care este procedura ? O comisie a Ministerului ia dosarul și aplică punctajele la fiecare criteriu. ”Aplică” nu înseamnă că evaluează valoare ideilor, ci aplică punctajul editurii/revistei la care s-a publica cartea/ studiul respectiv.

Dar aici este o primă problemă pe care o consider extrem de gravă. Se deleagă complet competența evaluării editurilor. Dacă ele selectează o lucrare și o publică, acordă implicit un punctaj. Dacă nu, nu. Ciudat. Comunitatea științifică ar trebui să evalueze rezultatele cercetării, nu redacțiile.

Desigur, editurile iau decizii pe baza referatelor pe care ea le solicită. Public este doar verdictul ”DA sau NU”, nu argumentele evaluării. Și decizia de publicare nu este neapărat o probă a valorii. Sunt o mulțime și de alte motive ale publicării.

Am în față o carte publicată la o editură din Occident. Automat pentru că e publicată primește 10 puncte, dar pentru că este publicată într-o limbă străină  într-o editură străină  primește mai mult, să zicem 20 puncte. Deschid cartea. Apă chioară, într-o limbă engleză de necitit.  Nu se poate. Cum a publicat acest zarzavat ? Pot să contest punctajul acordat de redacția respectivă? NU. Efectul: Institutul se va trezi cu o persoană care este cea mai slabă dintre candidați și nu are ce face.

Domnule Ministru. Situația est absurdă și dumneavoastră, conform regulilor, sunteți responsabil de confuzia sistemului de evaluare actual al științei.  

Comisia ministerului a fost corectă. Ea nu evaluează lucrările, ci calculează punctajele. O evaluare contabilă. Atunci de ce comisia mai are experți? Un contabil este suficient.

Efectul pervers. Sunt persoane care nu mai sunt interesate de a produce lucruri importante, ci de a alge între edituri.            

În cazul evaluării sociologiei, intervine și  altă ”regulă” a Ministerului: celebrul ISI. La punctul unul al listei cu criterii sunt ”publicații ISI”. E un indicator al valorii, indiscutabil. Statistic, ce se publică în reviste ISI sunt mai bune decât non-ISI. Dar în criteriile Ministrului, ISI este un criteriu exclusiv. Nu publici ISI  orice ai fi făcut, ești exclus.

În sociologie această regula a evaluării este distructivă. Iată de ce.

În România nu există o revistă ISI în sociologie. Facem demersului de a obține ”gradul”, dar va dura se pare câțiva ani pentru a o obține. Deci în câțiva ani, această procedură distorsionează producția sociologică românească.

Sociologia este o ”știință a națiunii” spunea Gusti. Adică a comunității în care trăiești. Peste 90% din producția sociologică este despre starea socială a țării tale. Este firește ca o revistă ”străină”/ ”internațională” să fie interesată de studii de interes ”internațional” și lucrările, posibil foarte bune, dar de interes ”local” să nu fie selectate.

Punctajul Ministerului în evaluarea sociologiei distorsionează și în alt fel. Sunt punctate la fel lucrările teoretice (de regulă rezultatul unui efort individual) și lucrările colective, rezultatul unor cercetări empirice, uneori pe baza unor eșantioane naționale. Acest punctaj încurajează lucrări individuale și teoretice. Se descurajează cercetarea în colective.

Aș lua un exemplu. În 1992-94 împreună cu mai mulți colegi am făcut o cercetare empirică pe condițiile social-economice ale țiganilor/romilor (Țiganii între ignorare și îngrijorare (1993). Un eșantion de 1 800 familii, interviuri individuale și colective. Mulți cercetători și operatori de terne. A fost singura carte în lume pe această temă. Un impact foarte mare. Google înregistrează că această carte a fost citată în pese 200 de lucrări. Chiar și după 2015, cartea este citită de multe mii de specialiști, din România și din străinătate. Dar, conform metodologiei Ministerului, cartea ar primi 10 puncte, deci pentru fiecare autor/ participant îar primi între 0,1-0,5 puncte.

Sistemul descurajează colectivele de cercetare care pot realiza cercetări importante, nerealizate de un cercetător.

O concluzie. Punctajul Ministerului reflectă situația cercetării universitare (lucrări individuale, mai mult teoretice/sinteze bibliografice) și aproape excepțional lucrări bazate pe cercetări empirice. Institutele de cercetare au capacitatea de a forma colective largi de cercetare, de a realiza cercetări empirice pe eșantioane largi. Dar actualul sistem de evaluare le descurajează.