跳到主要內容區塊
  • 發行機關:考試院
  • 發行人:劉建忻
  • 創刊日期:2021年1月29日
  • 發行機關:考試院
  • 發行人:劉建忻
  • 創刊日期:2021年1月29日

第25期

日本「人事測驗研究中心」測驗發展經驗對國家考試提升測驗信效度的啟示

許舒翔 考選部部長、黃立賢 考選部研究委員
作者照片-許舒翔部長_黃立賢研究委員

參考日本人事測驗研究中心的設立機制,推動考選部轉型成立測驗發展司,提升重要評量方法或測驗改進之研究能力。

選部為瞭解日本專業測驗機構之發展與運作,於2023年2月21日赴日本考察,行程中安排拜訪「日本人事測驗研究中心」,由代表理事千葉恭裕、機構內研發測驗重要幹部與考察團團員進行簡報及座談,收穫甚豐,以下概述之。

日本人事測驗研究中心創設緣起及組織架構運作

日本公務員考選分為國家層級及地方自治體分別辦理,並無我國中央與地方政府公務員的遷調制度。1951年起,人事院開始協助地方自治體製作職員錄用試題,但由於人員配置不足和培訓存在問題,1975年改由人事院、總務省(負責地方自治業務)等中央機關的人員與經費協助下成立的「日本人事測驗研究中心」,負責各級地方自治體錄用公務員考試各種測驗的編製與提供。以2021至2022年度為例(日本會計年度至3月底結算),日本1,765地方自治團體中共有道府縣層級46個、市層級688個、町村層級822個,合計1,556個自治團體採用其試題,占全部自治體之88.2%

日本人事測驗研究中心發展至今,其完整的組織架構與發展為地方自治體採用各項測驗與試題的命擬奠定良好的基礎,最高的指導單位為評議委員會,下設理事會,理事會中有代表理事與業務執行理事,在理事會中討論通過該中心重大政策與年度計畫,同時設有贊助會員與監事(因人事院現已無經費支援,贊助會員每年須繳交會費220萬日圓,舉辦考試時購買試題與測驗卷另以需用數量計費),理事會下設事務局,從該局的四個重要部門,可以了解他們對於專門能力試題、各類型測驗編製及重要業務發展之梗概:

一、總務部:主管事業計畫研擬、編製預算與決算、部內規程修訂、評議委員會與理事委員會會務。

二、事業部:主管測驗試題之提供、試題計分與結果之處理、採用各測驗單位的承辦人講習會、地方自治團體主辦單位業務之聯繫。

三、調查部:主管地方自治團體各項需用測驗的基礎調查研究、機關出版品發行、面試評分者的講習會主辦與講師派遣、面試評分者講習教材編製與販售。

四、研究開發本部:負責試測驗試題的編製、協助贊助會員評估適合之測驗、測驗結果的分析、各項測驗與適性檢查的開發。

以人員編制觀之,2名專職理事的公務生涯幾乎都在人事院的各局處歷練,均曾任人材局局長,對各項考試業務與測驗方法之發展相當熟稔,該中心專任職員35名,製作考試題目部門占21名,主要負責各項教養測驗、適性測驗與人格測驗之編製與研究,另遴聘外部委員200多位大學教授負責專門測驗(專業科目)試題之命題工作。

提供地方自治體的測驗項目與面試教材

人事測驗研究中心目前發展的測驗共分五大部分,依據地方自治體辦理考試需要採用

一、教養測驗:主要在測驗應考人的知識與邏輯思考能力,經常運用於第一試筆試,計有5項測驗(依據學歷與職務重要性選用),包括StandⅠ、StandⅡ、LogicalⅠ、LogicalⅡ、Light(稱新教養測驗,通常用於已在民間企業任職一段期間想轉職至公務機關者)。

二、專門測驗:分為大學畢業程度的行政職系(僅有3種類科10科專業科目)與技術職系(僅有土木、建築、電氣、機械與化學5種類科各1科專業科目),高中職畢業程度技術職系(僅有土木、建築、電氣3類科各1科專業科目),另有取得專業證照始得報考的類科(類似我國公職專技人員),如社會福祉、保健師、營養師、保育師、幼稚園教師及保育員均各有1科專業科目測驗。

三、適性測驗:為針對地方政府所需公務員開發出行政事務適性檢查測驗、業務適性測驗(使用在長照、學校行政、一般設施管理等業務)、看護師適性測驗、消防A型適性測驗(消防職員)、消防B型適性測驗(消防機械操作人員)。

四、性格傾向適性測驗:即是我們熟知的人格測驗,作為面試的參考資料,人格測驗的項目包括指導性、情緒安定性、慎重性、積極性、意志力與規範性加以測試。

五、職場適應性測驗:針對應考人是否具有自我強度、積極性、柔軟性與同理心加以檢測,此種測驗也可視為另一種人格測驗,地方政府可選擇採用。

面試為日本公務員進用相當重要的測驗程序,人事測驗研究中心在面試教材的開發上也投注了相當多的心力,除編製人物測驗評分講習課程製成DVD,並提供不同長度的四種版本,供有面試經驗者與無面試經驗者學習,也有派講師到地方政府辦理面試講習,一場次約3至4小時。面試的訓練包括

一、面試的基礎知識:闡述面試所扮演的角色、優點與缺點,為確保面試公平性所應作的努力,提問時應留意的重要事項,同時提醒評分員禁止提問的事項。

二、提問的技巧:該課程會教導評分員確認基本問題與相關問題,掌握問題提問的走向,針對職能方面進行提問,如何與具有妥善準備的應試者進行面試,藉由適性測驗或人格測驗瞭解受試者的重要特質並進而瞭解應試者的抗壓性與處理壓力的能力。

三、評分的技巧:本項技巧的教導係以作出正確的評分作為目標,因此課程內容會提醒面試前應作的準備事項、面試中應注意的事項、活用評分表格、瞭解評分出現誤差的原因,避免評分階段出現失誤,以及觀看面試案例影片並討論活用。

對我國國家考試提升信效度的啟示

在該中心的簡報過程中,研究開發本部部長渡邊光明曾提及各項測驗的編製均採循「PDCA」模式,亦即先擬定編製測驗計畫(Plan),依據科學化的方式先分析公務員所需各項職務所需之能力,尤其是了解從事工作所需的核心職能,根據每一個向度選擇內容編製試題然後實施測驗(Do),測驗的結果須經過檢核(Check)與確認效度與正確性,再依據量化與質化的分析結果進行改進行動(Action),就是改進原有題庫的試題品質。

觀察日本人事測驗研究中心發展與運作情形,公務員考選的確需要一個專業且常設的測驗機構,提供各項具有信度與效度的測驗,並依據用人機關的需要開發出各種測驗工具,如人格測驗與不同類型的適性測驗,且有事後的科學化分析做為改進的依據;同時進行各項評量方法的研究,將研究成果(例如面試如何提出問題與評分)提供用人機關採用。日本的經驗讓我們了解,設立測驗評量機構主要目的是在於確保評量公平性、穩定性、精確性與科學性,並提供給用人機關更多的資訊做決定;除此之外,對測驗評量結果的解釋與改進,對整體評量過程的監控以及研發各項評量方法更是機構主要任務

對於舉辦考試機關而言,辦理考試的各項流程除重視形式公平性外,更需注重其內在公平性,而內在公平性指的就是評量的「信度」與「效度」。以目前考選部內部單位的設計,除了有專責的題庫建置單位(題庫管理處主要負責測驗題試政工作),也有依考試性質分化的三個考試業務單位高普考試司、特種考試司、專技考試司(主要負責試務及申論題臨時命題的試政工作),但對於評量方法的研發改進、共同科目能力測驗、測驗結果的解釋與應用則缺乏專職測驗評量研究人員來協助。

考選部組織法修正草案於2023年2月送請立法院審議,若能順利通過,雖無法像日本或其他先進國家有專業測驗機構之設置一步到位,但原有題庫管理處未來若能轉型成為「測驗發展司」,並能突破用人限制聘用測驗專業人員進行重要評量方法或測驗改進之研究,借鏡「日本人事測驗研究中心」的經驗,在考選政策發展上將是一大突破