跳到主要內容區塊
  • 發行機關:考試院
  • 發行人:劉建忻
  • 創刊日期:2021年1月29日
  • 發行機關:考試院
  • 發行人:劉建忻
  • 創刊日期:2021年1月29日

第23期

口試多元形式與如何增益其效能

謝名娟 國家教育研究院測驗及評量研究中心研究員
作者-謝名娟研究員

口試能多元評估應試者職能,為筆試所無法取代,未來可漸推廣至國家考試。如何透過結構化方式與評分訓練,以減少評分誤差,增進口試的效能,為當務之急。

考甚麼,人們就重視甚麼!21世紀公務人員技能評估絕不應僅侷限於紙筆考試的內容!透過口試的設計,不僅能提升應試者對於多元能力的重視,亦能讓用人機關選拔到適合的人才!

口試和筆試所測到的能力是截然不同的!會寫不見得能講,當然能講的也不見得會寫。對於文官來說,書寫能力與口語表達的能力缺一不可,但是為什麼文官考試仍以筆試為主?多數的大眾所質疑的是考試公平性、評分主觀性等,如何透過結構化的方式與評分訓練,減少評分的偏誤,增進口試的效能,為刻不容緩的議題。

口試有哪些形式?

口試的方式有許多種,考選部公布了以下三種型式:個別口試、集體口試與團體討論,評估口語表達能力、組織與分析能力、親和力與感受性、決斷力等多元面向。除了這三種模式,在企業選才的口試情境中,更重視脈絡化的設計。因此口試的問題多融入於受試者未來可能會面對各種問題,這些模式也廣為教育領域所應用:

一、問題分析:請受試者根據個案的情境資料,分析後來擬訂適當的解決方案,其回答可能是融合書面與口頭報告,評分員可針對方案提出質詢。這種方法有助於評鑑受測者的分析力、問題解決力及寫作能力

二、口頭短講:受評者要對一個議題進行即席演講,例如在國家教育研究院的領導人員結業測驗中,會請受試者針對領導人才可能面對的各種情境進行抽題,並進行三分鐘的短講。其內容如對學生、教師、社會民眾、部屬長官進行短講說明。評分員可進行提問,挑戰受評者的演講內容,評分員甚至會反對受評者的結論,指出他們的缺陷和問題,並評估其口語表達、溝通技巧及簡報製作能力

三、模擬面談或角色扮演:由受評者和角色扮演者進行對話,對方可能扮演受試者的部屬、同事、長官、或可能面對的顧客。角色扮演的對象都是受過專業訓練,並須依據腳本,以標準化方式進行演出。其扮演者可以發問、提建議、回答問題,評分員則在旁邊觀察受試者的應答方式。評分者並在口語溝通、敏感度、領導力及問題分析等面向給予評分

四、事實發現:受試者被告知情境下,須在一定時間內,藉由提出問題來找到與決策相關的訊息,資料提供者可為評分人員,評分員可以就受試者所詢答的問題來提供相關資料。可考驗受試者對於問題理解的廣度與深度,有助用來評估分析思考、實務判斷及社會認知能力

如何透過結構化的口試過程來增益其效能?

凡評量必有誤差。不管是甚麼評量模式,嚴謹的歷程與方式能將誤差降到最低,結構化的口試過程可增加效度與減少誤差,其要點如下:

一、以職能分析來建構試題,其中職能分析乃針對所需之工作能力來建構與工作內容相關的口試問題。

二、每位面試者必須問到部分相同的問題,後續可進行與工作相關內容之追問。使用相同的問題可以提升口試結構化的程度,增加一致性的效度,而後續追問的問題必須與工作內容相關,避免問到無關工作內容的問題。

三、情境化的內容設計。題目應以情境式的問題來設計有較高的效度。若在口試中仍以知識面的問題來詢問其效度較差。

四、時間與題數最佳化。越長的口試時間可以得到越多面試者資訊,但是由於受限於成本與人力,很難有過長的時間,但應在有限時間內,盡量評估受試者在職能領域中的各種能力表現。

五、輔助資料的應用應統一。必須限制申請者是否能攜帶自己的資料,包括履歷表、推薦信、成績單等。若有客觀、一致性規定可以增加面談的結構性。

六、立即且多次的評分,若是每個問題都能即時評分,可以累積評分的次數,另外依據評定量表的表現描述,將每種等級的表現應具備的能力進行簡單的分類。

七、除了量化成績外,亦應輔以質性的紀錄。受試者在回答的面向中,表現為何? 除了量化的評等外,輔以質性的紀錄,可避免日後爭議。

八、口試過程中應避免讓委員彼此討論,應獨立評分。

九、盡量有多位評分者,不同委員可以看到的面向不同,可以避免主觀,並降低個人的偏誤。當然,若能同一批口試委員來進行所有考生的口試,可以增加其公平性,但是若是在時間考量下有所困難,也盡量能用錄影的方式,挑選部分的考生進行複評,以確保評分者在評分時的公正性。

專家是好的評分者?評分者訓練之必要性與訓練方式

許多專家學者具有其領域的專業性,但卻不見得是好的評分者,各種評分偏誤都有可能產生,如月暈效應、趨中效應、邏輯誤差、嚴苛寬鬆等,因此必須透過評分者訓練來避免評分誤差,唯有公平的評分者,才能保證口試的品質!其訓練過程包括說明相關職能,利用過去考生參與考試的真實影音檔,請委員依據評分規準,獨立評分,而後說明過去該表現的得分,委員若有疑義可針對評分項目再行釐清與討論。

另外,許多的口試因為在「尊重專業」的考量下,並沒有制定明確的評分規準,僅制定非常粗略的項目。然而,模糊的評分規準不僅評分者會產成主觀的解讀,受試者也不容易了解評量的要求

未來擴大至國家考試的可行性

口試因為僅能以個別或小團體施測,成本遠比紙筆考試來的高。在過去的國家考試中,主要將口試與其他測驗形式並行、或由筆試做為第一階段的篩選,將口試列為複試等方式。而從公務人員的考試來看,雖然成本較高,但是口試所評估職能為筆試無法取代,因此未來勢必要逐漸推廣至國家各種考試中