特 集ＥＢＰＭと行政事業レビュー2948てはどこまでを目指すのかがアウトカムになる。主要なアウトカム指標を①「人件費の自主財源化」、②Nature Index（主要科学ジャーナル82誌に掲載された論文の著者所属情報を収録するデータベース）論文数や、国際共著論文率としている。①については、URAの重要性が各大学の中で高まり定着することが研究力の向上になるという建付けになっていることを設定の理由としている。②は、この事業が採択されている22機関の、事業開始前と後での論文数や率の比較、「NISTEP2G」［科学技術・学術政策研究所（NISTEP）による日本国内の論文数シェアを用いた分類。論文数シェアが1%以上の大学のうちシェアが特に大きい上位4大学を除いたグループに分類される13機関（本事業採択10機関、非採択3機関）が該当する］の中の採択機関と非採択機関による比較を行うことで本事業の有効性が見えるとしている。主な論点は、アウトカム指標の適切性、本事業の優位性の確認方法6議論では、アウトカム指標が適切になっているか、ロジックモデルが論理的に構築されているかどうかなどについて多く出された。例えば、URAが大学の研究力強化という目的達成のために有効であるという仮説の検証が明確かどうか。URAの質についてはロジックモデルで加味されていない。アウトカム指標がURAの人件費の自主財源化になっていると、仮にURAの質が悪かったとしてもURAの人件費が自主財源で賄われていることだけをもって成果が出ているとなってしまう。以上を考えると、人件費の自主財源化はアウトカムよりもアウトプットにあたるのではないか。また、URAの質の担保に向けた取組みについてもロジックモデルに記載し検証した方が良いのではないか、などの議論だ。文科省としては、各大学がURAの有効性を認識して独自に雇用できる環境を作るというこの事業の建付けにおいてはこの指標は必要ではないか、また質の確保については、他の事業で行っているので、その事業とのつながりについてもより明確にしていく旨の発言があったが、現在のアウトカム指標であると、やはりURAの「量」だけの視点になってしまい、「質」の視点についても指標は必要であろう。この際、質の確保は別の事業で目指しているため、他の事業も含めたアウトカム指標を設定することになる。また、論文数などによる本事業採択機関と非採択機関での比較について、NISTEPのグループ２に分類される母集団が限定的（本事業採択10機関、非採択3機関）なので、統計的な厳密性の観点ではこれのみでの比較は難しいという指摘もあった。この点は、EBPMの捉え方にも関わる重要なポイントであろう。厳密な統計に基づこうとすれば、変数を加味した分析なども必要になるが、EBPMにそこまでを求めようとすると、事業の立案、もしくはアウトカムを捉えることに膨大な業務量を費やさなければならなくなる。まずはロジックモデルを構築し、その中で政策の有効性を検証することがこの取組みの意義であると感じているので、EBPMに厳密性を求めるものではないと私は考える。なお、本事業は5年が経過した段階で中間評価を行い、さらに今回EBPMを実践した。その中で、本事業の中で成果が出ているものと出ていないものが明らかになってきたため、今後は各大学でも同様の分析を行ってもらったうえで、成果の高い取組みに重点的に予算を配分するような仕組みに変更していくことも考えていると、文科省側からの発言もあった。以上のやり取りを踏まえて、「外部有識者」による判定は「一部改善」。改善内容としては、①事業の有効性をさらに検証するにあたって、研究の対象選定の段階から検証段階を想定して事業設計を試みる工夫が必要。②URAの自主財源化は、アウトカム指標ではなくてアウトプット指標にし、定性評価も含めたURAの効果を検証する適切な指標、仕組みの構築をさらに検討していく。③統計的な厳密性を求める研究ではないので、URAの活動実績を評価する際、定性情報についても補完する形で検討していくことが必要。④今回実施されたEBPMのスキームやノウハウを文科省の他の事業や各大学にも横展開できる工夫を検討することが必要。⑤このレビューのプロセスを通じて一定の成果が出ている。同時にさらなる課題も見えてきたので、今回
元のページ ../index.html#31