Romania Sociala logo
Menu

Este nevoie de revederea și îmbunătățirea procedurii de evaluarea a cercetării sociologice?

autor:   5 May 2021   

Am în față procedura Ministerului educației și cercetării de evaluare a cercetătorilor științifici români. Evident, evaluarea cercetătorilor individuali implică și o viziune a ce ar trebui să fie sociologia românească.

Realizez că este momentul să reflectăm puțin pe ”procedura” evaluării ca act administrativ.   

Trei principii ale dinamicii oricărei proceduri:

  1. Nu există proceduri perfecte. Orice procedură are puncte tari, dar și puncte slabe.
  2. Nicio procedură nu este definitivă. Ea are viața ei. La un moment dat, inevitabil, este înlocuită cu o alta.
  3. Noua procedură încearcă să soluționeze problemele cu care se confruntă procedura anterioară. Se acumulează critici și insatisfacție cu punctele slabe ale procedurii practicate și se caută o nouă procedură care să rezolv aceste probleme.  

O procedură nu este doar un instrument de evaluare, ci ea orientează întreaga activitate de cercetare. Deci ATENȚIE la cum procedura actuală de evaluare orientează activitatea cercetătorilor. 

Sociologia este o știință a ”universalului”, adică a oricărei vieți sociale, de oriunde și de oricând. Dar sociologia ”universalului” este cam 10% din producția sa. Gusti a formulat un adevăr universal: sociologia este știința națiunii, a ”locului comunității” în care sociologul trăiește. 90% din sociologia românească este o știință a societății românești. Dacă vrem să înțelegem sociologia românească, trebuie să vedem cum răspunde ea la ce are nevoie societatea românească. 

Procedura de evaluare înainte de 2008. Comisia se întrunea și discuta dosarele. Se folosea un set de criterii minime, destul de laxe: conferențiar o carte, profesor două cărți; se lua în considerare și studiile publicate în reviste și volume colective, fără a se preciza un număr minim de publicații. Dincolo de un minim de publicații, decisivă era evaluarea colegială calitativă. Țin minte că au fost respingeri sau amânări, chiar dacă criteriile cantitative minime erau îndeplinite, luându-se în considerare evaluări calitative. Amânarea era cea mai frecventă procedură: se dădea un semnal că propunerile cantitative sunt insuficiente. 

Procedura de atunci avea probleme: ponderea prea mare a evaluării subiective. Dar avea și avantaje: ponderea importantă a evaluării calitative, bazată pe cunoașterea activității candidaților. 

În 1990 am fost invitat la Comisia americană de evaluare în domeniul sociologie. Membrii comisiei lucrau ”cu normă întreagă” doar pentru evaluare, pentru o perioadă de 2 ani, dacă țin minte. Am fost impresionat. Într-o zi se discutau doar câteva lucrări. Evaluarea calitativă primea o atenție deosebită. Nu știu dacă acest sistem de atunci funcționează și în prezent. Oricum, într-o țară ca România, o asemenea procedură nu putea fi adoptată. 

În timp a devenit tot mai evident că procedura Ministerului de evaluare trebuia schimbată. 

Procedura de evaluare adoptată după 2008. Au trecut deci 22 de ani. S-a acumulat multă experiență. Este normal să formulăm concluzii și să învățăm din experiența acumulată.  

Noua concepție a evaluării. 

Se adoptă o listă de criterii minime. Fiecare criteriu are un punctaj. 

Din lista de 23 crierii, este obligatoriu îndeplinirea a cinci criterii:

  1. Publicarea unor articole în reviste cotate ISI. În sociologie, doar o revistă română este cotată ISI.  
  2. Publicarea unui minim de articole în alte reviste, dar recunoscute.
  3. Publicare unei cărți pentru conferențiar; 2 cărți pentru profesor. 
  4. Un număr minim de citări: profesor – 10, conferențiar – 5.
  5. Obținerea unui punctaj global minim.     

Punctele tari ale sistemului: un număr mare de criterii punctate, pe baza cărora se face un calcul complex. S-a presupus că se elimină subiectivismul. Fără să fim siguri, pare să fi existat și cazuri de promovări care nu au îndeplinit cu rigurozitate criteriile. 

Punctele care au stârnit critice:

* Riscul „dictaturii birocrației”. Ministerul, desigur la propunerea Comisei, adoptă o procedură care nu a fost însă supusă unei discuții publice. Se adaugă și vizibilitatea scăzută a compoziției și a funcționării Comisiei. Vizibilitatea este o condiție a asumării responsabilității.

* O problemă a profilului listei de criterii. Criteriile utilizate sunt adecvate mai mult pentru sistemul universitar, în care publicațiile sunt de regulă individuale. Cadrele didactice universitare se concentrează pe cursurile predate și activitatea lor de cercetare tinde să fie individuală, pe teme speciale. Publicarea de studii în reviste reprezintă forma tipică a finalizării cercetării universitare. O asemenea centrare a produs o ignorare a marilor lucrări de sinteză, bazate de regulă pe mari cercetări sociologice empirice realizate de largi echipe. De fapt ele nu sunt ignorate, ci trate ca valoare la nivelul studiilor individuale centrate pe teme particulare. 

Cercetarea în institutele Academiei se centrează tocmai pe probleme cu un grad ridicat de complexitate ale științei și ale societății românești. Aceste lucrări se finalizează în lucrări de amploare și Rapoarte sociale care sintetizează starea societății românești. Desigur, și studii individuale în reviste. 

Să menționez câteva exemple din activitatea Institutului de Cercetare a Calității Vieții (ICCV). De la începutul activității sale, Institutul a avut ca obiectiv diagnoza dinamicii calității vieții în perioada tranziției (10 evaluări pe eșantioane reprezentative naționale); o serie de lucrări sintetice care explorează profilul politicilor sociale în perioada tranziției; problemele critice ale societății românești în această perioadă – o carte sintetică asupra sărăciei în România, bazată pe un eșantion național reprezentativ, două cărți pe tema condițiilor social-economice ale populației de romi și ele pe eșantioane naționale (primele lucrări în lume de acest gen); studii pe situația copiilor în perioada tranziției; tema economiei sociale; identificarea profilului societății românești în perioada tranziției; teoria și metodologia schimbării sociale proiectată, temă vitală pentru societatea românească aflată într-o perioadă dificilă de ieșire din criza tranziției. Sau Istoria sociologiei românești care a utilizat o  bază ”completă” de publicații românești de sociologie din 1900-2015: 25 000 de titluri. 

* Problema cine face evaluarea rezultatelor cercetării. Comisia nu face în fapt evaluări. Evaluarea a devenit ”contabilicească”. Ea înregistrează îndeplinirea sau nu a criteriilor. Paradoxal, evaluările publicațiilor nu o face deci Comisia, ci redacțiile care publică lucrările. Problema critică a sistemului actual este că redacțiile nu fac publice evaluarea unei lucrări sau alteia, ci doar decizia de a le publica. Evaluarea lucrărilor este înlocuită cu evaluarea globală a revistelor sau editurilor. 

Este curios că în procedura existentă nu sunt incluși și h-Indicatorii fiecărui cercetător, calculați de Agențiile specializate. 

În acest context, cea mai dificilă este problema ISI. S-a considerat că publicarea în reviste ISI este un test sigur al calității studiilor. S-a introdus regula strictă de a nu se promova profesional fără publicații ISI. Evaluarea ISI nu este în realitate destul de clară și stârnește tot mai multe critici. Mulți tineri cercetări, cu contribuții științifice de valoare, cu mare perspectivă științifică, se împiedică de publicațiile ISI. Problema cea mai importantă nu este de calitate a lucrărilor propuse, ci a criteriilor și procedurilor de selecție ISI.

Este deschisă o întrebare: pentru publicare în străinătate, evaluarea calității studiului este singurul criteriu al alegerii ? Sau se utilizează în fapt și un al doilea criteriu: ce se consideră a fi de interes pentru un public internațional ? Dacă sociologia este o știință atât universală, cât și a contextului, atunci studiile de interes pentru un context sau altul, de exemplu de interes pentru societatea românească, este de interes mai scăzut pentru un public internațional. În acest caz, revistele ISI tind să nu selecteze studiile care pot fi de valoare de interes contextual. Implicit se promovează o imagine colectivă negativă: studiile de interes contextual, în cazul nostru de interes pentru societatea românească, sunt de valoare secundară.

Rămâne deci deschisă o întrebare epistemologică: dacă criteriul ISI poate funcționa fără probleme în științele universalului, în științele predominant orientate pe analiza contextelor, acest criteriu trebuie utilizat desigur, dar cu o anumită rezervă. Oricum el nu poate fi utilizat drept criteriu fundamental de excluziune: dacă nu ai un număr de ISI, ești de calitate inferioară. Pot fi asociate cu un punctaj mai mare (actualmente se utilizează chiar înmulțirea cu 2 sau cu 3 valoarea unui studiu publicat în România), dar nu utilizat ca un criteriu obligatoriu de excludere. 

Punerea ca prioritate absolută a cercetării sociologice românești a studiilor publicate în reviste din alte țări (celebrele ISI) produce o distorsionare a vocației sociologiei. Ea este, în expresia paradigmatică a lui Dimitrie Gusti, sociologia națiunii, a comunității în care sociologul trăiește. Și în fapt, cea mai mare parte a sociologiei mondiale are ca obiect societățile în care sociologii trăiesc. Sociologia actuală este o pluralitate de ”sociologii ale națiunilor”. Pe de altă parte, sociologiile sunt o parte importantă a conștiinței de sine a comunităților. Este firesc ca un obiectiv al sociologiei românești este să susțină publicațiile pe teme ale societății românești: cărți, reviste, rapoarte sociale. Temele societății românești pot fi desigur publicat oriunde, în revistele din România, dar și în străinătate. 

* Ignorarea altor produse sociologice importante. Este cazul programului lansat, de la înființarea sa în 1990, de Institutul de Cercetare a Calității Vieții. Rapoartele sociale ale ICCV sunt evaluări sintetice, de 20-50 pagini, ale problemelor sintetice sociale și sociologice. Un exemplu: în 2020, ICCV au elaborat și difuzat 5 Rapoarte sociale cu privire la impactul social al CORONVIRUS. Rapoartele sociale nu figurează în lista de criterii.

Un alt caz. ICCV a lansat un nou tip de revistă on-line, România Socială, care conține articole scurte tip eseu pe problemele științei și societății românești de mare interes public. În acești 5 ani, revista a publicat peste 500 articole, citite de pese 30 000 de ”cititori”. Se readuce astfel în atenția publică o zonă aproape uitată: alături de cărți și studii de tip revistă științifică și articolele-eseu pe marile probleme ale sociologiei și ale societății românești. Experimentul s-a dovedit a fi un succes neașteptat. Articolele publicate aici sunt citite  multe dintre ele de peste o mie de cititori, unele chiar de peste zece mii. Deci, de ce să nu încurajăm și articolele-eseu ca produse sociologice de valoare ?

Sunt și alte tipuri de produse sociologice care ar trebui promovate prin valorizare, punctare deci. ICCV și-a stabilita ca obiectiv nu numai crearea de lucrări de sinteză, bazate pe solide date empirice, dar, complementar, și de a crea și pune la dispoziția celorlalți cercetători a unor importante baze de date. Citez doar câteva: sistemul de indicatori ai României în perioada tranziției, baza de date a dinamicii calității vieții, baza de indicatori referitori la starea de sărăcie, indicatori referitoare la dinamica venitului, a cheltuielilor sociale publice, a  stării social-economice a populației de romi. Nici asemenea ”produse” științifice nu sunt luate în considerare în Lista de criterii ale Ministerului.   

Să nu ignorăm, și deci să punctăm, și alte produse ale unui institut al Academiei: alături de bazele de date produse, ICCV are o politică specială de difuzare a producției sociologice. În condițiile dificultăților în creștere a bibliotecilor clasice, ICCV a lansat în 2016 Biblioteca Virtuală de Sociologie (BVS). Un exemplu de mare succes. După doar câțiva ani, în 2018, BVS conținea deja 821 cărți și 5 584 vizitatori site, 60 085 materiale deschise. 

Participările la realizarea acestor programe reprezintă și ele contribuții importante la dezvoltarea sociologiei românești. Dacă vrem să facem o evaluare corectă a sociologiei românești, este urgent nevoie de o lărgire a ariei producției sociologice. Altfel, ignorăm efortul a zecilor de sociologi care investesc un efort prețios alături de studii în reviste și cărți. 

Și cel mai important, noul sistem de criterii de evaluare, pe care Ministerul îl programează, trebuie să fie produsul unui proces democratic al comunității științifice.   



Facebook

Pandemia COVID-19 şi vaccinarea: reprezentări sociale

Semnalăm apariţia unui nou raport social elaborat de un grup de sociologi de la Institutul de Cercetare a Calităţii Vieţii (ICCV) al Academiei Române. Raportul prezintă rezultatele unui sondaj de opinie la nivel naţional privind felul în care populaţia României vede pandemia COVID-19 (percepţii, evaluări, atitudini), consecinţele acesteia asupra vieţii ...

Viruși ideologici și revoluția diversitară

Ortodoxia diversității Multiculturalismul  a venit pe lume în campusurile universitare americane prin anii 1960. În anii 1970, Canada adopta un model de gestiune numit multiculturalism, o politică instituită de Primul ministru Pierre-Eliot Trudeau. Modelul presupunea recunoașterea diversității din Canada, unde trăiesc peste 100 de comunități etnice și culturale diferite. S-a promovat ...

Fericire și calitatea vieții: o istorie sintetică I

Calitatea vieții este o temă nouă, promovată de filozofie, de sociologie și preluată în programele politice. Evenimentul s-a întâmplat în anii 60-70. Dar starea umană sintetică a calității vieții, fericirea, a fost prezentă în gândirea colectivă din cele mai vechi timpuri. Grecia antică: strategia plenitudinii umane Mitul a fost prima formă de cristalizare ...

Apariția volumului 19, nr. 1/2021 al revistei Sociologie Românească

Semnalăm apariția volumului 19, nr. 1/2021 al revistei Sociologie Românească, editată de Asociația Română de Sociologie și Expert Projects, Iași. Revista a fost înființată în 1936 de reputatul sociolog român Dimitrie Gusti, membru al Academiei Române din anul 1919 și președinte al Academiei Române (1944-1946). Revista a fost desființată în ...

«Practici și produse academice» Cum sunt ele evaluate?

Am fost invitată să evoc pe scurt experiența mea canadiană pe această temă. Intervin așadar în calitate de profesor (Departamentul de comunicare socială și publică/UQAM. De cercetător în diferite grupuri de cercetare. De evaluator de texte academice (masterat, doctorat), articole la diferite reviste, sau membru al unor colegii de redacție. ...

AȘA A FOST? AȘA ÎMI ADUC AMINTE (VI)

Învățământul sociologic din perioada comunistă avea hibele lui, dar pratica de cercetare sociologică a studenților era un lucru foarte bun. Era trecută în programa analitică, din anul I până în anul al III-lea. Imediat după sesiunea de examene, în iulie, plecam cu grupuri de studenţi în diferite zone din ţară ...

Faptele sociale nu vorbesc singure. Noi le facem să vorbească într-un fel sau altul.

Sociologii fac eforturi imense să obțină date despre realitate. Le au. Dar ce spun ele ? Dincolo de cifre, imaginea este confuză. Depinde ce le întrebăm noi și cu ce cadru al minții noastre mergem la ele. ICCV a dezvoltat un program, eu cred unic în lume, de estimare a calității ...

O nenorocire nu vine niciodată singură

Fără îndoială, actuala pandemie reprezintă o teribilă nenorocire care a picat ca din senin. Iar asemenea nenorociri sunt amplificate, în multe cazuri, de graveerori cognitive sau decizionale, mai ales ale decidenților politici. De aceea, aforismul conform căruia o nenorocire nu vine niciodată singură nu ar trebui considerat o superstiție. Studiul ...