Ministrstvo za znanost in tehnologijo Republike Slovenije (MZT) financira ali sofinancira razvojno-raziskovalne projekte na področju tehnike, humanistike in zdravstva. Več sto projektov, prijavljenih na vsakoletni razpis, je potrebno oceniti in jim na osnovi ocene ustrezno dodeliti sredstva iz državnega proračuna. Problem je težaven zaradi velikega števila prijavljenih projektov (variant), obsežnosti in zahtevnosti problematike ter omejenih časovnih rokov za izvedbo razpisa.

Odločitveni proces smo podprli s sistemom za vrednotenje projektov, ki temelji na posebej prilagojeni matriki tipa portfolio. Le-ta predoči mesto posameznega projekta glede na njegovo vsebinsko vrednost in izvedljivost. Ocenjevanje vsebine in izvedljivosti je realizirano z večparametrskim odločitvenim modelom, ki vsebuje 48 osnovnih kriterijev. Podatke za vrednotenje pripravijo recenzenti projektov. Vsak projekt ocenjujeta vsaj dva recenzenta; v primeru različnih mnenj se dodatno vključijo eksperti MZT ali zunanji sodelavci. Pri realizaciji sistema je bil poseben poudarek na odprtosti (transparentnosti, preglednosti) modela in izvedbi različnih analiz in razlag rezultatov vrednotenja, s čimer smo želeli zagotoviti:

• sistematično zbiranje podatkov o predlaganih projektih,
• enotno in čim bolj objektivno vrednotenje projektov,
• čim popolnejšo informacijsko sliko o projekih za argumentirano končno odločanje v ekspertnih skupinah,
• možnosti svetovanja predlagateljem v smislu izboljšav projektov.

V prilagojeni matriki tipa portfolio uporabimo oceni, ki se nanašata na vsebino in izvedljivost projekta ( slika 6). Prva ocena daje oceno vsebinske primernosti projekta glede na njegove namenske in objektne cilje, druga pa oceno izvedljivosti, ki vključuje oceno usposobljenosti prijavitelja ter oceno pripravljenosti in realnosti zahtevka projekta. Obe oceni določata položaj projekta v matriki, ki je razdeljena na šest polj:

Slika 6: Osnovna matrika za ocenjevanje projektov

Vsebina in izvedljivost projekta se ocenjujeta na osnovi večparametrskega odločitvenega modela, katerega del je prikazan na sliki 7. Ocenjevanje vsebine poteka na osnovi ocene namenskih in objektnih ciljev projekta. Prvi obsegajo opredelitev in navedbo namenov, ki bodo predvidoma realizirani s projektom in to predvsem z narodnogospodarskih in ekonomskih vidikov. Objektni cilji pomenijo konkretne rezultate, ki bodo realizirani ob zaključku projekta, kot so nov proizvod, nova tehnologija ali nova organizacijska rešitev.

Izvedljivost projekta je parameter, ki se deli na eksterno in interno izvedljivost. Eksterna izvedljivost obsega kriterije, kot so: metodološko-tehnična izvedljivost projekta, potrebe po dodatnih investicijah, ustreznost predlaganih rešitev, ustreznost metod dela in podobno. Poseben poudarek je na oceni strokovne usposobljenosti in tehnične opremljenosti projektne skupine ter usposobljenosti in referencah projektnega vodje. Z interno izvedljivostjo pa sta mišljena predvsem pripravljenost projekta v skladu z metodologijo MZT in formalno izpolnjevanje razpisnih pogojev.

Razviti model je bil prvič uporabljen leta 1992. Ovrednotenih je bilo 516 projektov v okviru 31 raziskovalnih polj (Bohanec et al 93). V letu 1993 smo model na osnovi zbranih izkušenj izpopolnili in z njim ovrednotili 447 projektov iz 38 polj. Vrednotenje je potekalo na osnovi 740 ocen, ki jih je prispevalo 296 recenzentov. Uvrstitev teh ocen v matriki je prikazana na sliki 8. Povprečni oceni vsebine in izvedljivosti sta bili 3.45 in 2.72.

Realizirani model je pokazal pomembne prednosti v primerjavi s pristopi, uporabljenimi pred tem. Posebej velja poudariti uporabo kvalitativnega odločitvenega na področju, kjer prevladuje presoja in ga je težko formulirati v kvantitativni obliki. Tak model je po eni strani razumljiv širokemu krogu uporabnikov, ki so vključeni v odločitveni proces, v končni fazi pa omogoča kvalitetno verifikacijo in razlago dobljenih rezultatov. Rezultat vrednotenja so informacije, pomembne za končno odločanje o projektih, ki poteka v ekspernih skupinah.

Slika 7: Drevo kriterijev za ocenjevanje projektov - dva najvišja nivoja kriterijev in poddrevo za vrednotenje namenskih ciljev

Slika 8: Rezultati vrednotenja projektov v letu 1993