4章 分析の手法

    レベル4評価で求められる情報はビジネス上の成果と財務上の指標を特定しなくてはならない
    たとえば、
  • 無駄の削減
  • 時間の短縮
  • ミスの削減
  • 販売やクロス販売の増加
  • 顧客認知の改善
  • 製品カスタマイズの減少
  • 返品電話の減少
  • 棚卸の日数の削減
  • ROI、自己資本利益率、純資産利益率
  • 現在の債務や資本の減少

    WLPソリューションの成果を特定するときに用いるROIの手法はたくさんある
  1. 利益対コスト比
  2. ROI
  3. 収支

ブログデン:H.E.Brogden(1946)
On the Interpretation of the Correlation Coefficient as a Measure o Predictive Efficiency
トレーニングプログラムの金銭的な価値を評価するために、効用評価方程式が用いられることがある
ΔU=N×T×dt×SDy‐c
ΔU=トレーニングプログラム後の総合的な金銭的有用性
N=トレーニングされた従業員の人数
T=トレーニングプログラムのパフォーマンスに対する影響が維持された期間
dt=トレーニングされた平均的な従業員とトレーニングされていない平均的な従業員の仕事のパフォーマンスにおける標準偏差の差
SDy=金銭におけるトレーニングされていないグループの仕事のパフォーマンスの標準偏差
c=従業員ごとのトレーニングコスト

インプットとアウトプットの変数の間の数学的な関係がわかっているとき、予測モデルがトレーニングの効果を分離することができる。

    評価ツールの開発には以下の手順が含まれる
  • ツールの目的を決定する
  • 結果を表示し追跡するために使用するフォーマットあるいはメディアを決定する
  • ビジネスを追跡するために重要な項目を選択する
  • どの順位付けまたは評価スケールを用いるかを決定する
  • もしあるとすれば、どのような人口統計が必要であるかを特定する
  • コメントや提案はどの程度オープンに表現されるべきかを決定する
  • ツールが必要とする柔軟性の程度を特定する
  • ツールがどのように配布されるかを決定する
  • 結果がどのように追跡され、見える化され、報告されるのかを決定する
  • 結果が参加者、ユーザー、その他の人々にどのように伝達されるかを決定する

    追加で考慮すること
  • 項目や回答は量的なものである必要があり解釈の余地がほとんどないものであるべきである
  • 項目の分析はより重要になる。というのもツールには解釈の余地があまりないからである
  • 一貫性を保証し、かつ潜在的なデータ不一致を識別するために、自由回答のセクションは、頼みの綱として有効になる必要がある
  • 評価基準とパフォーマンスゴールとのつながりが立証されていなければならない
  • 測定基準はプログラムの目的を反映していなければならない
  • 測定基準はトップマネジメントが価値を認めていなければならない
  • 信頼性のある測定を可能にするために十分なデータが集められなくてはならない
  • 測定基準には既知のバイアスがあってはならない

5章 データの解釈と報告

    質的データは測定基準や数字で表すことが難しい情報である
    質的データの一般的な情報源は、
  • レベル1コメント
  • 競合調査
  • 成功事例
  • ベンチマーキング
  • 人々から集められた記述データ(引用やコメントを含む)
  • インパクト分析
  • 観察メモやコメント
  • 仲間内での分析メモやコメント
  • フォーカスグループ
  • インタビュー

評価者は、各質問の結果を一目で明確にするために図やグラフを使うべきである。トレーナーもまた2つかそれ以上の質問の結果を絵で比較するためにクロスタブ表を使うべきである。

    タフテ:E.R.Tufte (2001)
    Visual Display of Quantitative Information
    図表によってデータの見えていなかった部分が見える。図表は、
  • 方法論、視覚的なデザイン、図表のテクノロジーなどよりも内容について考えることを促す。
  • データが示すべきことをゆがめることを避ける。
  • 小さなスペースでたくさんの数字を示す。
  • 大きなデータのまとまりを筋の通ったものにする。
  • 大まかな概要から細かい構造まで、データの詳細をさまざまなレベルで明らかにする。
  • 明確な目的を提供する:記述する、探索する、表にまとめる、修飾する。
  • データのまとまりの統計的、言語的表現と密接に統合されているべきである。

    データ収集ツールには、データ固有のさまざまな種類のエラーがある。評価者はよい評価報告をするために以下のガイドラインに従うべきである
  • 個人的なバイアスに気づき、調査結果や結論、提案からそれらを取り除く
  • 調査結果が示していることに対してオープンになる。しばしば「よくないニュース」は、改善のための創造的な機会を提供する
  • データを検討する際、意見を創出し始める。このプロセスは提案と次の行動ステップを促す
  • データを複数の観点から検討する。データを年代順に並べ、そして重要な出来事に沿ってグループ化する。複数の背景と人口統計からそれを検討し、クロスセッティングパターン分析を行う
  • もしレベル2と3の分析に焦点を当てるのであれば、人口統計に焦点をあて、それからデータの解釈を行う。たとえば、管理者と同量の間ではテストの点数に違いはあるのだろうか?
  • データを順序立てて組織化する
  • 課題をグループ化し、他のデータ結果と比較する
  • 事例検討の観点からデータを分析する
  • データを見るにあたっての思考のパターンや個人的な癖に気づいて変えようと挑戦する
  • つながりを作る。評価はすべて原因と結果に関連している。評価ツールによるデータは、ビジネス上のニーズ、測定基準、ソリューションのコンテンツ、WLPの実践と明確なつながりをもっているべきである

データ分析には3つの主要なタスクが含まれている。
分類すること、表にまとめること、ローデータと集計されたデータを比較することである。

    コンテンツ分析
  • データは、データのカテゴリーを表すためにどのようにコード化されるのか?
  • データの意味は何か、そしてデータを検討した時に考えられるべき代わりの意味は何か?
  • 信頼性のあるデータのパターンは浮かび上がっているか、もしそうなら、それは何か?

    プロセス分析
  • プロセスを完了させるためにどのようなツールや補助教材が使われるのか?これはグループメンバーみんなにとって一貫性があるのか、それともプロセスに新しく触れる人や多くの経験を持つ人に特定ものなのか?
  • どの変数がプロセスに影響を与えたのか?
  • どのような相互依存性がプロセスで特定されたデータの中に存在するのか?

    量的分析
  • どのようなデータの矛盾が存在し、それらはどのように説明することができるのか?
  • データにはどのような関係性が存在するのか?
  • データはどのように測定されるのか?
  • データから見過ごされていることは何か?
  • データは何を意味しているのか?つまり、結果はどのように解釈されるのか?
  • 分析の単位は何か?
  • データは信頼性があり予測可能であるか?

    報告に含まれるもの
  • エグゼクティブ・サマリー
  • 背景情報
  • 方法論の評価
  • データ収集と分析
  • 課題の特定
  • 評価結果
  • 結論と提案
  • 今後のステップ

    評価結果を報告するときには、トレーナーは以下のことをすべきである
  • 重要な発見を目立たせる
  • データによって何が言えるのかを確定する
  • 誤解を特定する
  • あまり明確でないことをはっきりと指摘する
  • 理解したり知ったりすることはできなかったがビジネス上のニーズにとって重要であるポイントに注目する

    データを示す際の3つの重要なステップ
  1. 形式を目的に合わせる。
  2. 適切な手法とメディアを選択する。
  3. 判断に影響を与えるような統計の誤用を避ける。

    データを適切な形式で表示するためには、以下のガイドラインに従うことが役立つ
  • 必要とされるデータ、調査結果、予備資料の詳細さのレベル
  • 報告を読む人々が行う必要のある重要な判断に関連した、評価のビジネス上の目的
  • 結果がどのように使われるか
  • 規範的対記述的な資料およびデータのプレゼンテーション
  • 情報を伝えるための、知識を与えるニーズ対説得力のあるニーズ
  • 報告書と調査結果を検討する人々

    データを効果的に見せるために適切な手法とメディアを決定するとき、以下が重要な要素となる
  • エグゼクティブ・サマリーはシニアマネージャー注意をビジネス上の目的、原因結果分析、調査結果に素早く向けることを助ける
  • 口頭でのプレゼンテーションは、聴衆とのディスカッションの時間と同様に重要なデータや調査結果を説明する時間を含む必要がある
  • 詳細な報告において、概要と詳細の両方の情報を伝えるためには、プレゼンターは準備を整え、レビュアーにチャート、グラフ、評価ツールの例、詳細な情報と同様に要約されたデータを提供する

クライエントに対して倫理的な行動を確実にとるためには、プラクティショナーは常に評価やツールに対してオープンでなくてはならない。

    何を伝えて何を伝えないかを検討するプロセスで重要なこと
  • この情報を誰が必要としていて誰が使うのか?
  • どの情報が実際に必要とされていて、どのように伝えられるのか?
  • 情報はどのように使われるのか?評価結果の報告を伝える目的は何か?
  • この情報はいつどのように必要とされるのか?

    ブルーマン:A.G.Bluman (2003)
    Elementary Statistics: A Step by Step Approach
    カイ二乗検定における仮定

  • サンプルは母集団からランダムに抽出されなくてはならない
  • 研究の母集団における変数は正規分布していなくてはならない
  • 観測は相互に独立していなくてはならない

 「測定と評価」は“ちゃんとやる”ことが大事なんだ、ということは分かった。でも、もっと大事にしなければいけないのは、例えば「測定基準はトップマネジメントが価値を認めていなければならない」とか「理解したり知ったりすることはできなかったがビジネス上のニーズにとって重要であるポイントに注目する」とか、ここで得られたデータをどのようにビジネスと結びつけて、次に活かすか、ということだ。

 それにしても、これが“人材開発のプロとしてこれは最低限知っておくべき”ことだとしたら、先は長いね。永塚さんに

「もう一度、大学からやり直したくなっちゃいましたよ」

とこぼしたら

「大学に戻ったら、またバイトでジョッキ運ぶんだろ。今ここでいろいろ吸収するのがいいんじゃないか。ほら、このデータから言えることをまとめてみろ!」

うひょ~。やっぱり報告レポートの手伝いはするんじゃないですか!