Ministrstvo za znanost in tehnologijo Republike Slovenije (MZT) financira ali sofinancira razvojno-raziskovalne projekte na podrocju tehnike, humanistike in zdravstva. Vec sto projektov, prijavljenih na vsakoletni razpis, je potrebno oceniti in jim na osnovi ocene ustrezno dodeliti sredstva iz drzavnega proracuna. Problem je tezaven zaradi velikega stevila prijavljenih projektov (variant), obseznosti in zahtevnosti problematike ter omejenih casovnih rokov za izvedbo razpisa.

Odlocitveni proces smo podprli s sistemom za vrednotenje projektov, ki temelji na posebej prilagojeni matriki tipa portfolio. Le-ta predoci mesto posameznega projekta glede na njegovo vsebinsko vrednost in izvedljivost. Ocenjevanje vsebine in izvedljivosti je realizirano z vecparametrskim odlocitvenim modelom, ki vsebuje 48 osnovnih kriterijev. Podatke za vrednotenje pripravijo recenzenti projektov. Vsak projekt ocenjujeta vsaj dva recenzenta; v primeru razlicnih mnenj se dodatno vkljucijo eksperti MZT ali zunanji sodelavci. Pri realizaciji sistema je bil poseben poudarek na odprtosti (transparentnosti, preglednosti) modela in izvedbi razlicnih analiz in razlag rezultatov vrednotenja, s cimer smo zeleli zagotoviti:

• sistematicno zbiranje podatkov o predlaganih projektih,
• enotno in cim bolj objektivno vrednotenje projektov,
• cim popolnejso informacijsko sliko o projekih za argumentirano koncno odlocanje v ekspertnih skupinah,
• moznosti svetovanja predlagateljem v smislu izboljsav projektov.

V prilagojeni matriki tipa portfolio uporabimo oceni, ki se nanasata na vsebino in izvedljivost projekta ( slika 6). Prva ocena daje oceno vsebinske primernosti projekta glede na njegove namenske in objektne cilje, druga pa oceno izvedljivosti, ki vkljucuje oceno usposobljenosti prijavitelja ter oceno pripravljenosti in realnosti zahtevka projekta. Obe oceni dolocata polozaj projekta v matriki, ki je razdeljena na sest polj:

Slika 6: Osnovna matrika za ocenjevanje projektov

Vsebina in izvedljivost projekta se ocenjujeta na osnovi vecparametrskega odlocitvenega modela, katerega del je prikazan na sliki 7. Ocenjevanje vsebine poteka na osnovi ocene namenskih in objektnih ciljev projekta. Prvi obsegajo opredelitev in navedbo namenov, ki bodo predvidoma realizirani s projektom in to predvsem z narodnogospodarskih in ekonomskih vidikov. Objektni cilji pomenijo konkretne rezultate, ki bodo realizirani ob zakljucku projekta, kot so nov proizvod, nova tehnologija ali nova organizacijska resitev.

Izvedljivost projekta je parameter, ki se deli na eksterno in interno izvedljivost. Eksterna izvedljivost obsega kriterije, kot so: metodolosko-tehnicna izvedljivost projekta, potrebe po dodatnih investicijah, ustreznost predlaganih resitev, ustreznost metod dela in podobno. Poseben poudarek je na oceni strokovne usposobljenosti in tehnicne opremljenosti projektne skupine ter usposobljenosti in referencah projektnega vodje. Z interno izvedljivostjo pa sta misljena predvsem pripravljenost projekta v skladu z metodologijo MZT in formalno izpolnjevanje razpisnih pogojev.

Razviti model je bil prvic uporabljen leta 1992. Ovrednotenih je bilo 516 projektov v okviru 31 raziskovalnih polj (Bohanec et al 93). V letu 1993 smo model na osnovi zbranih izkusenj izpopolnili in z njim ovrednotili 447 projektov iz 38 polj. Vrednotenje je potekalo na osnovi 740 ocen, ki jih je prispevalo 296 recenzentov. Uvrstitev teh ocen v matriki je prikazana na sliki 8. Povprecni oceni vsebine in izvedljivosti sta bili 3.45 in 2.72.

Realizirani model je pokazal pomembne prednosti v primerjavi s pristopi, uporabljenimi pred tem. Posebej velja poudariti uporabo kvalitativnega odlocitvenega na podrocju, kjer prevladuje presoja in ga je tezko formulirati v kvantitativni obliki. Tak model je po eni strani razumljiv sirokemu krogu uporabnikov, ki so vkljuceni v odlocitveni proces, v koncni fazi pa omogoca kvalitetno verifikacijo in razlago dobljenih rezultatov. Rezultat vrednotenja so informacije, pomembne za koncno odlocanje o projektih, ki poteka v ekspernih skupinah.

Slika 7: Drevo kriterijev za ocenjevanje projektov - dva najvisja nivoja kriterijev in poddrevo za vrednotenje namenskih ciljev

Slika 8: Rezultati vrednotenja projektov v letu 1993