• 経歴	2017年　サカタウエアハウス株式会社　入社 2023年　同志社大学大学院 ビジネス研究科 修了 現在に至る

本論文は、当社管理本部　横山が、同志社大学大学院 ビジネス研究科　修士論文として作成したものを、前編、中編、後編の計3回に分けて掲載いたします。
＊前号（2023年12月7日発行 第521号）より

  本稿は数値化できない、いわゆる定性的な能力向上を目的とした研修の効果に関する測定･評価について論じるものである。研修はたくさんの組織において多様な形で実施されている。また、研修については様々な分野において研究がなされてきたが、その効果については研修受講直後のアンケートなど、受講者の個人認知の測定しか実施されていないことが先行研究より明らかになっている。しかし研修を実施する以上、その効果については研修を実施する組織により測定や評価が実施されることが必要ではないだろうか。そういった考えのもと、本稿では研修の測定･評価に焦点を当てる。そのために、まず研修に関してどのような研究が行われてきたのかを確認することで、研修がどのようなものであるかを明らかにした。そのうえで、組織は研修を実施したのちその研修についての測定･評価を行っているのかどうかを明らかにすべく、調査対象組織へのインタビューを実施した。その際、対象とする研修については先行研究も踏まえ、数値化できない定性的な能力に関するものとした。インタビューの結果、研修への測定･評価は調査した組織においては行われていないことが明らかになった。それとともに研修の測定･評価に対する複数の阻害要因の存在も確認することができた。そこで、確認された阻害要因をどのようにすれば取り除くことができるのかについて考察を実施した。

目次

• ３－７．　　研修の測定と評価
• ３－７－１．Kirkpatrickの4段階モデル
• ３－７－２．Kirkpatrickモデルの理論的検証
• ３－７－３．Kirkpatrickのモデルの応用とROIモデルの提唱
• ３－７－４．日本における研修の測定･評価
• ３－７－５．研修の測定･評価に関する議論の欠落
• ３－７－６．研修の評価と業務能力向上の関係
• ４．　　　　調査の概要
• ４－１．　　リサーチクエスチョンの提示
• ４－１－１．先行研究から明らかになったこととこれからの課題
• ４－１－２．リサーチクエスチョン
• ４－２．　　調査対象者と手法

３－７．研修の測定と評価

  たくさんの企業で様々な研修が実施されてきたが、それらの研修は効果的なものだったのだろうか。そういったことに関する研修の測定･評価についての研究が1950年代ごろから欧米を中心に盛んに行われてきた。その議論について検討を行っていきたい。

３－７－１．Kirkpatrickの4段階モデル

  研修などの人材開発へのニーズの高まりとともに研修を測定･評価することが重要であると考え始められた頃、Kirkpatrick(1959) は伝統的でかつ現在でも最も有名な研修評価モデルを提唱し、一躍脚光を浴びることとなる。それが表2に示したKirkpatrickの4段階モデルである。このKirkpatrickのモデルでは、以下の4つのレベルで研修に関する評価を行うことで研修を評価し、結果として研修による業務能力の向上を行うことができるとされている(同, p.3)。
  レベル1は「反応 (reaction)」である。このレベルでは研修受講者に対しての事後アンケートなどを実施することで研修に対する研修受講者の満足度など、個人認知を評価するものである。その点は他の3つのレベルと大きく異なる点といえる。
  レベル2は「学習 (Learning)」である。このレベルでは、研修の直後などにテストを行うことにより、研修受講者がどれだけ研修の目的である能力を習得できたのかを評価するものである。
  レベル3は「行動 (Behavior)」である。このレベルにおいては、研修にて学んだことを受講生がどれだけ実際の職場で扱えるようになったのか、業務能力の向上についての評価を行う。業務能力の向上が、研修を受講する主な目的であるため、この行動の段階が最も重要であるとKirkpatrick自身も述べている。
  最後の段階が、レベル4の「成果 (Result)」である。このレベルでは研修が企業の業績にどのように影響したのかについての評価を行う。評価には売上などを指標として用いることで業績への影響を算出するとされている。
  レベル2からレベル4までは研修を実施する組織からの評価であり、個人認知を評価するレベル1とは大きく異なる。この2つの視点から研修を評価していることがKirkpatrickの4段階モデルの特徴のひとつである。

３－７－２．Kirkpatrickモデルの理論的検証

  　Kirkpatrick(1959)では、この順番で研修の評価を行うことで研修による業務能力向上の効果を高めることができると主張している。Kirkpatrickのこのモデルは実務家が使用しやすいシンプルなモデルであった。しかし、Kirkpatrickはこの4段階モデルについて、なぜこの順番なのか、それぞれのレベル間の相関関係はどのようなものなのかといった理論を示していなかった。そのため、様々な研究者がKirkpatrickの4段階モデルについての妥当性について検証を行った。また、Kirkpatrickの4段階モデルを参考に、何人もの研究者によって評価モデルが提唱された。
  Alliger & Janak(1989)はKirkpatrickの4段階モデルについて、組織のニーズに合致したものであるとしながらも、①各レベルにて提供される情報量、②各レベルの因果関係、③各レベルの相互関連性、の3点を問題視し、それらの相関関係因果関係についてKirkpatrickのモデルについて研究した過去の文献のメタ分析を行うことでその検討を行っている。メタ分析*7 の特性上、研究自体は過去の研究の結果に依存することとなってしまうことは否めないものの、非常に示唆を与えてくれるものとなっている。
  Alliger & Janakは、研修の種類によってはレベル1「反応」にのみ影響が及ぼされることを示している。例えば企業理念の浸透のための研修においては、レベル1「反応」以外のレベルの評価が行えないことに言及している。また、ユーモアのある講師による研修のほうがレベル1「反応」においては良い評価をされるが、レベル2「学習」以降のレベルには研修講師の性質という要因は反映されないとして、レベル1とレベル2以降の違いを明確に示している(同, p.334)。さらに、レベル3「行動」とレベル4「成果」の関係性について、行動によって得られた成果が更なる行動を引き起こすのではないかといった主張がなされている。つまり、レベル3「行動」とレベル4「成果」は、因果的には相互依存の関係であるという(同, p334)。

３－７－３．Kirkpatrickのモデルの応用とROI*8 モデルの提唱

  Kirkpatrickのモデルが検証される過程で、新たな研修の測定・評価モデルが提唱された。その代表的なものの1つが、Philipsによって提唱されたROIモデルである*9 。ROIモデルではKirkpatrickのモデルの4つの段階に加え、5つ目の段階としてROIを取り上げたものとして知られている。しかし、実際のところは、ただKirkpatrickのモデルに5段階目を加えただけのものではない。Philipsのモデルはレベル1「反応」においては仕事のやり方を変える実行計画が含まれている(Donovan, 2014, p.157)。
  また、レベル3「行動」においては研修で学んだことを職場で活用できているのかどうかを様々なフォロー手法を用いて判断することまでが含まれている。このように、Kirkpatrickのモデルを、より経営者にとって使用し易いものになるようマイナーチェンジが行われているのである。また、レベル5のROIという指標に注目した背景には、研修投資によるビジネスリターンを企業の経営陣が求めたことによるプレッシャーがあったとされている。Philipsはその要望に対して、ROIという指標をモデル内で使用することで応えた(同, p.155)。
  ROIの計算では、レベル4「成果」において収集したデータを金額に変換し、研修プログラムのコストと比較する必要がある。金額であらわすことができなければROIは算出できないのである。しかし、ROIを実際に算出し、研修評価指標とするための方法については各企業が頭を悩ませているようだ。2002年に米国企業リーダーシップ協議会にて278の組織に対して行われた調査の結果、78%の組織がROIを望ましい指標であるとしながらも、トレーニング結果の評価指標として実際にROIを用いている組織は11%に留まっており、現実的にはROIを指標として使用することは難しいということが示された(同, p.156)。
  ROIモデルは、収集したデータを金額に変換するという作業がネックとなっているため実用性という面ではあまり高くないと考えられる。そもそもレベル4の「成果」が企業全体の成果のうちどれだけなのか、研修の成果としてどこまでと判断すればいいのかの判断が難しい。よってROIの算出も難しいと考えられる。Kirkpatrickが自身のモデルを提唱して以降、このような研修評価モデルが複数提唱され、有用性と有意性が議論された。
  研修の測定･評価の分野の研究については、Kirkpatrickの4段階モデルの検証とそれに代わるモデルの提示への取り組みという2種類の研究に大分することができる。しかしこれらの研究によって実際に研修内容が受講者の業務能力の向上につながっているのかどうかという点については引き続き検討が必要である。

３－７－４．日本における研修の測定･評価

  日本においてもKirkpatrickの4段階モデルを参考に、研修の測定･評価に関する研究が実施されている。奥田(2012)は、日本において研修評価が受講者の「満足度」の測定で十分と考えている企業が多いことを問題視し、Kirkpatrickの4段階モデルのレベル3「行動」に焦点を当てて、医療業界のマネジメント研修の効果について測定・評価を試みた。
  研究の詳細としては、A医療法人のマネジメント研修について「本人の心構え、上司の働きかけ、周囲のサポート」の3つの要素の存在により研修の効果が高まるのではないかとの考えのもと、41名にアンケート調査、そのうち6名に対してインタビュー調査を実施した。アンケートは研修1か月後に実施し、「研修最終日時点で研修に満足していたか」と「振り返ってみて研修に満足しているか」の2問から研修への満足度を調査した。また、「目標設定に関して、違った切り口で目標を意識したか」や「指導において、部下の目標や現状をイメージ化しやすくなったか」などの５問から行動変容・意識の変容に関して調査を行った。回答は「とてもそう思う」から「全く思わない」の4つから選択するものとした。その結果、満足度に関しては満足していることを示す回答の割合が研修直後、1か月後でともに90%を超えていた。また、行動変容・意識の変容に関しても、満足度ほどではないが、高い割合で肯定的な回答を得る結果となった。
  次にインタビュー調査を今後の研修改善のために実施し、アンケート調査では聞き出せない研修受講者が感じたことや考えたことについて、より深い情報収集を試みた。奥田は、この2つの調査により満足度と行動変容・意識の変容が、ともに高かったことを理由にこのマネジメント研修は効果があったと結論付けている。ただ、この研修への測定・評価はアンケートによる個人認知での評価がそのまま反映されているため、上司などの他者からの評価も必要ではないかと考えられる。
  米原(2014)はODAプロジェクトのための研修において、Kirkpatrickの4段階モデルのレベル3「行動」、つまり、行動変容に注目している。しかしその評価方法については「評価活動に評価専門家以外の人が『参加』し、評価のプロセスを共有することにより付加価値を高める評価」(同, p.211)である「参加型評価」を応用して適用すべきではないかと主張している。この「参加型評価」はKirkpatrickの4段階モデルのレベル3「行動」やレベル4「成果」の測定・評価に対して有効であるという。例えば行動変容はどのような形で発現するのが理想的なのかは場合によって異なる。そのような場合には評価者の視点のみで研修の効果を測定・評価することが難しい。そういったケースにおいては、評価の専門家以外も評価活動に参加する「参加型評価」が有効であるという(同, p.212)。米原は研修の結果としての行動変容について、本人でしかわからない変容も存在することは認めつつも、客観的な評価も重要であるため様々な視点を加味して評価を行うべきであるとしている(同, p.217)。
  日本における研修の測定・評価に関する研究は比較的歴史が浅い。そのためか、日本独自の理論を生み出すのではなくKirkpatrickの4段階モデルを参考にした形での研究が見受けられる。その中でもレベル3にあたる「研修による行動変容」を重視しているという特徴がある。

３－７－５．研修の測定･評価に関する議論の欠落

  Tannenbaum & Yukl(1992)においては、Kirkpatrickの4段階モデルに関して行われてきた研究の発展が詳細にレビューされている。そして結論として、一連の研究は4段階の相関や関係について示すことを目的としながらも、結果として理論的にはKirkpatrickのモデルが有意であることは証明できなかったとしている(同, p.422)。
  研修の測定･評価についての研究はKirkpatrickの4段階モデルの検証と新しいモデルの提唱という2つの軸で展開されてきたのだが、これらの研究には致命的な欠落が存在している。それは、ほとんどの研修でKirkpatrickのモデルにおけるレベル1「反応」についての評価しかされていない、というものである(Tannenbaum & Yukl, 1992, p.423; Saks & Burke, 2012, p.120 )。日本においても、研修への満足度のみを受講者アンケートとして調査するにとどまり、行動変容などの本当の意味での効果については測定や評価が行われていないことが指摘されている(奥田, 2014, p.189)。
  このように、ほとんどの研修が受講後の満足度調査の実施で終了してしまい、実際の業務能力の向上につながったかどうかまでが確認されていない「受けっぱなし」の状態となってしまっているのである。この点については問題視されてはいるものの、筆者が調べた限りにおいてはこの状況を改善するための研究はなされていない。これが研修の測定･評価研究の欠落点である。

３－７－６．研修の評価と業務能力向上の関係

  Kirkpatrickの4段階モデルについては様々な検証から、各段階間の相関関係や段階の順番について理論的な根拠の欠落が指摘されたが、全く役に立たないとされたわけではない。
  日本以外でも業務能力の向上や職場での研修の活用において、Kirkpatrickの4段階モデルにおけるレベル3「行動」の段階を評価することが重要であるとの観点から研究が行われている。その中でも研修による業務能力の向上と研修の測定・評価との関係については、研修実施主体の視点から研究を行ったのがSaks & Burke(2012)である。この研究においては研修の測定・評価の実施状況と研修受講生の業務能力の向上がどのように関係しているのか、その研修への測定・評価や相関などについて、企業の教育担当者へのアンケート調査にて明らかにしている。
  まず、研修の測定・評価と業務能力の向上との関係については2つの要因が指摘されている。1つ目の要因は研修実施後に研修の測定・評価を行うことで研修の振り返りを行い、研修設計に関する見直しを実施することができるので研修の改良を行うことができるという点である。もう1つの要因は研修受講者が研修を受講し、その後の研修への反応や行動の変化による業務能力についての向上を測定・評価されることにより研修受講者が責任感を感じ、結果として業務能力の向上を意識的に行うようになるというものである。
  インタビュー調査では、Kirkpatrickのモデルの4つの段階の間の相関関係とどの段階が研修による業務能力の向上に最も関係しているのかについて調査が行われている。
  研究方法としては、人材開発担当で、所属する組織にて10年程度、人材開発に携わっている職員150名を対象とし、2つのアンケートを実施した。1つはKirkpatrickの評価モデルの各レベルについて、それぞれどの程度評価を行っているのかを、「全く行っていない」から「頻繁に行っている」の5段階で評価することでどのレベルが評価されており、どのレベルの評価がされていないのかということを明らかにした。結果として、レベル1「反応」とレベル2「学習」の段階について、より評価される傾向があり、レベル3「行動」とレベル4「成果」については、あまり評価が行われていないということが明らかとなった。
  アンケート調査のもう1つはレベル3「行動」に着目し、研修直後、研修受講6ケ月後、研修受講1年後といった時間の経過と研修で学んだことを実際の業務に活用している従業員の数を0%から100%の10段階で評価してもらった。その結果、1つ目の調査で行動の評価を頻繁に行っている組織ほど、研修受講後に時間が経過しても学習したことを職場で活用している従業員が多いということが明らかになった。つまり、業務能力の向上の重要な要素は行動の段階を評価していることであると考えられる。この研究における分析においては、組織の創業年数と組織規模を考慮して調整を行っている。創業からの年数が長いほど、また、企業規模が大きいほど高度で確立された人的資源を有していると考えられるためである。このことにも注意しなければならない。
  この研究の欠点はKirkpatrickの4段階モデルという有意性が実証されていないモデルがベースとなっている点である。また、アンケートによる調査であるので回答した組織ごとに認識の度合いに差異がないとは言い切れないため、正確に測定できているとは言い難い。とはいえ、研修評価を実施する組織ほど、研修内容を職場で活用することができているという関係性が明らかになったことはこの研究の貢献である。また、行動のレベルについての評価が、実際に業務能力の向上に役立っているということは研修のもつ可能性を引き出す糸口となりそうだ。この研究により、Kirkpatrickの4段階モデルの4つのレベルのうち、重要であるはずの行動と成果の段階についてはあまり測定･評価が行われず、あまり重要ではないとされる反応と行動の段階のみの測定･評価が行われているということが改めて明らかとなっている。

４．調査の概要

  この章では前章の先行研究レビューから明らかになったことと今後の課題を確認する。それを受けてリサーチクエスチョンを提示するとともに、そのためにどのような対象に対してどのような分析を行うのかについて検討する。

４－１．リサーチクエスチョンの提示

４－１－１．先行研究から明らかになったこととこれからの課題

  研修の測定･評価についての先行研究から次のことが明らかとなった。まずSacks & Burke(2012)から測定･評価を実施することで研修設計の見直しが可能となることや、研修受講後に受講者の行動変容に対する測定･評価により研修受講者のパフォーマンスが向上すること、そして研修の評価を行っている組織ほど研修内容を実際の職場で活用することに成功していることが明らかとなった。さらに、米原(2014)から、評価の方法として「参加型評価」を実施することにより研修結果としての行動変容に対して様々な視点からの評価が行えることが明らかとなった。そもそも、奥田(2012)や米原(2014)など、日本においても研修の測定･評価に関する研究が行われていることが明らかとなったことは大きな発見である。
  これからの課題としては、まず組織の人事部門など、研修実施主体による研修効果の測定や評価を実施していることを示す文献が、筆者の調べた限りにおいては発見できなかったことが挙げられる。日本においても医療機関や政府関連機関がKirkpatrickのモデルを参考に研修の測定・評価を実施している事例は発見できたが、実際の企業での実施事例は確認できなかった。
  また、大半の研修においては研修直後の「反応」のレベルに関しての測定･評価しか実施されない割合が非常に高いことも課題として挙げられる。「反応」のレベルだけでは研修受講者の個人認知のみで研修そのものを評価することとなってしまう。研修の実際の効果である職場での行動変容についての測定や評価を行わなければ、実施した研修が実際の業務にてどの程度活用されたのかを把握することができない。
  併せて、測定･評価を実施したとして対象の研修がどのような能力を身に着けるためのものであるかを区別する必要があるだろう。例えば語学研修への測定･評価は研修受講後にその言語をどれだけ使いこなすことができるかをテストなどで確認することで可能となる。また、技術研修に関しては「研修受講前は10分を要した作業が7分で行えるようになった」となれば技術向上に関する評価について定量的に判断することができる。しかし、リーダーシップ研修やコミュニケーション研修はそうはいかないのではないだろうか。こういった数値化して測定することのできない定性的な内容について、研修をどのように測定･評価していくのかについては筆者の調べた限りにおいて、明らかとなっていない。

４－１－２．リサーチクエスチョン

  先行研究レビューの結果を踏まえ、本稿のリサーチクエスチョンは「研修の測定･評価が人事部等の研修実施主体によって行われているのかどうかを明らかにすること、および、研修成果の測定方法・阻害要因」とする。その際、先行研究レビューの結果から、対象とする研修についてはリーダーシップ研修やコミュニケーション研修のような、数値化して測定できない定性的な能力に関するものと定めることとする。定性的な能力について企業はどのように捉え、どのような研修を実施し、どのように測定･評価を行っているのか。測定や評価を実施していないならば測定評価の阻害要因とは何なのかを明らかにする。
  研修の測定・評価においては研修受講後のアンケートなどの個人認知と、研修を実施する組織や人事部からの視点の2つが存在する。本稿は研修を実施する組織による測定・評価に関する研究であることを明示しておく。

４－２．調査対象者と手法

  インタビュー調査対象者の選考基準は、組織で実施する研修内容を把握し、研修後にその評価を行うことができる職位にある者とした。インタビュー対象者の選考基準を上記のように設定した理由は、研修内容を把握し、研修後にその評価ができる者でないと実際に組織の中で研修が何を目的としてどのように行われ、研修後に職場で研修の効果が発揮されているかどうかを把握することができないと考えたからである。
  インタビュー時には研修*10 に関する研究であることを伝えた。どのような目的でどのような研修を実施しているのか、また研修受講後に研修の測定･評価は行っているのか、といったことについてインタビューを実施した。
  調査対象となる組織は、大手情報システム関係の企業から社員50名程度の中小製造業、小規模の病院*11 に至る多様な組織を選択した。大企業、中小企業、一般企業でない組織をそれぞれ調査の対象とすることで、企業規模による偏りという要素をできるだけ排除するとともに、一般企業でない組織も加えることで、より多様で、より意義のある分析結果が得ることができるのではないかと考えた。対象組織に関する情報を表3に示す。

  インタビューはすべてインタビュー対象者の所属する組織を訪問し、対面で実施した。実施日程は10月24日から29日のあいだである。インタビュー時間は最短で約40分、最長で約80分だった。後日、企業Wにはメールにて、企業Xと病院Yには電話にて追加インタビューを実施した。
  研究手法としては筆者が作成した質問に回答してもらい、その回答からリサーチクエスチョンに関係する要素を抽出した。リサーチクエスチョンは前節にて、①研修の測定･評価を行っているのか、②測定･評価の方法と阻害要因について、事例から明らかにする、と定めている。そのため、①については、「しているか、していないか」の2択、②については「どのようにしているのか」、あるいは「なぜしないのか」という質問への回答から事例として、組織における研修の測定･評価の現状を明らかにした。各質問の詳細を以下に示す。
  質問においてはまず、どのような内容の研修を行っているのか、重視している研修はどのようなものかということについて確認を行った。それにより、対象組織がどのような研修を実施しているのかについて把握することで、実施している研修の性質など、その後の質問をスムーズに行うために必要な情報を得ることを試みた。
  次に、研修に期待する効果を確認した。この質問は対象組織が研修に何を求めているのかのみならず、研修とはどのようなものであると考えているのかといった研修への向き合い方から研修に求めるものの性質を明らかにするために必要な質問である。
  続いて実施した研修の効果を引き出すために何らかの施策を実施しているかについて確認することで、研修後のフォローなど、その企業が研修を意義のあるものにしようとしているのかどうかを確認した。
  最後に、研修の測定･評価が行われているかについての確認を実施した。この質問は実際に研修の測定･評価が行われているのか、それはなぜなのかを確認するという意味で、本稿のテーマの核心に迫るものである。また、測定･評価に対する各組織の考え方や阻害要因を明らかにするためにも重要な質問である。
  さらに、研修の測定･評価組織への取り組み状況について質問を行った。研修の測定･評価を実施していないと回答した企業では測定･評価に代わる何らかの取り組みを実施しているかどうかを質問した。この質問は、研修の測定・評価への阻害要因を取り除く手段を模索するために必要なものである。質問とその狙い、および関連文献の一覧を以下に示す。

  インタビューにおいては、本稿のテーマである研修の測定･評価に関する質問である後半の2つの質問が非常に重要となる。また、対象とする研修については効果が数値化できない定性的な研修としているため、前半の3問で対象組織の研修についてもしっかりと把握する必要がある。そのため前半の3問でそれぞれの組織の研修の体系を明らかにし、そのうえで後半の2つの質問で本稿のテーマである研修の測定・評価について質問を実施した。
※後編（次号）へつづく

*7：メタ分析とは、同一の対象に対して行われた過去の複数の研究や調査に対して、結果を統合し、対象の有無やその有効性･妥当性などについて検証するための分析方法の総称である。
*8：ROIとはReturn On Inｎvestmentの略であり、投資に対してどれだけの効果があったかを示す指標である。
*9：PhilipsのROIモデルについてはDonovan(2014)にてより正確な説明がされており、本稿ではそちらを参考にしている。
*10：インタビュー時には対象者と認識を共有するため「OJTではなくOff-JT」という言い回しも使用した。
*11：作業療法士が行う研修についてインタビューを行った。