3章 研究デザイン

独立変数は影響を与える変数である。
従属変数は影響を受ける変数である。
剰余変数は評価者が調査している変数間の関係に影響を与える望ましくない変数である。

モデルと測定基準
(1)評価基準を作るステップで最も重要なのは、ビジネスドライバーを検証することである
バークスデイルとランド:S.Barksdale and T. Lund (2001)
Rapid Evaluation
外的なビジネスドライバー:経済、人的資源、政府、一般社会の認知、マーケット、顧客
内的なビジネスドライバー:テクノロジー、システム・プロセス・政策の変化、シェアホルダー、財務、新しい製品の創造
(2)ビジネスドライバーとパフォーマンス上のニーズを特定した後に、測定と言うアプローチを決定することができる

    リサーチクエスチョン
  • 複数選択式の質問は、質問に対するすべての答えが含まれうるとき、排他的に構成されるとき、強いられた選択の結果生じるバイアスが重要ではないときに用いられる
  • 複数回答式の質問には、排他的な答えはない。これらは回答者が覚えておくことを助け、すべての見込みのある選択肢を考えることを確実にする
  • 順位づけの質問では、回答者に個人的な好みを指示し、答えの相対的な重要性を明らかにすることを求める
  • オープン質問では、回答者は刺激文なしに自分自身の言葉で回答することが可能である。質問は通常誰が、何を、いつ、どこで、なぜ、どのように、で始まる
  • スケール式質問は、方向性(否定的に対して肯定的)や強さ(強く否定的から強く肯定的)を測定することによって意見や態度を決定するために用いられる

    実験デザイン
    プラクティショナーは実験を適切に組織化し、質問に対して答えるための正しく十分なデータが確実に使用できるようにしなければならない

    統制群は、実験において、実験的な扱いを受けていないことを除いて、実験群とすべてにおいて同様の参加者グループである
    実験デザインのモデル
  • 一元配置分散分析
  • 二元配置分散分析
  • 完全無作為化法
  • 完全乱塊法

データ収集法には質的なもの(ソフトデータ)と量的なもの(ハードデータ)がある。
ハードデータは客観的で測定可能であり、頻度、パーセンテージ、割合、時間等の観点から記述される。ソフトデータはより漠然としており、不確かで、個人的で、主観的である。質的手法(たとえば、インタビュー)は、逸話や例を収集するために用いられる。量的手法(たとえば調査)は、収集された逸話や例を調査項目として使用し、どれだけ多くの回答者が例に合致し、どれだけ頻繁に例が回答者に合致するかを測定する。

    2つの最も一般的なサンプリング手法
  1. 無作為抽出法:母集団のすべての人々がサンプルとして選ばれる機会を平等に持っている
  2. 層化無作為抽出法:母集団を要素によって分割し、サンプルは分割されたグループごとに無作為に選ばれる

無作為選択とは、研究のために母集団からサンプルとなる人々を抽出するプロセスである。
無作為割り当てとは、研究において異なるグループや処置に抽出されたサンプルを配置するプロセスである。

選択バイアスとは、サンプルを前もってまたは事後に選ぶことによって統計的な分析をゆがめるエラーである。

    必要とされるサンプルの大きさは、以下による
  • 母集団の数
  • 求められる結果の正確さ(つまり、どの程度のエラーが受容できるか)
  • 結果が偶然によって引き起こされたのではないという確信のレベル

    実験をデザインする際には、検出力分析とサンプルの大きさの予測を行うことが重要である
    統計的検定において、検出力に影響を与える要因には以下が含まれる
  • 実施される統計的検定の種類
  • サンプルの大きさ
  • 実験効果の大きさ
  • 実験の測定値におけるエラーのレベル

    下記のようなガイドラインによってデータ収集法の効果は改善されうる
  • 回答は匿名にする
  • アンケートの回収は中立的な人間が行う
  • 評価の目的を説明する

レヴィン:K.Lewin(1890-1947)
フォースフィールド分析は、現状を維持する力を特定し、変化を促進するのに必要とされるアプローチを明確化するのを助ける。レヴィンは、肯定的な変化の力を「ドライビングフォース」とよび、現状を維持する否定的な力を「レジスティングフォース」と呼んだ

特性要因図は、可能性のある変化の原因を特定、探索、提示するために用いられる。その形から、フィッシュボーンダイアグラムともよばれる。石川ダイアグラムともよばれる。

以前触れたように、推測統計の目的は(帰無)仮説を検証して仮説を承認または棄却することである。
※仮説検証についての更なる情報については、「推測統計と仮説検証」セクションの2章を参照すること

    総合的な評価計画を確実に行うための8つのステップ
  1. 目的を決定する
  2. ステークホルダーを明確にする
  3. レベルを決定する
  4. プログラムの目的を特定する
  5. データ収集を計画する
  6. データ分析を計画する
  7. コミュニケーションを計画する
  8. プロジェクトプランを作成する

    人的資源とパフォーマンストレーニングの領域において、正確な情報は非常に重要である
  • 特定のスキルにおいて現在のトレーニングレベルを特定する
  • 現在のレベルと比較して際的なパフォーマンスレベルとのギャップを特定する
  • ニーズとトレーニング要求の分析を行う
  • コースがきちんと要求される学びを提供しているかどうかを特定する

インストラクターやマネージャーによる仕事のシミュレーションにおいて仕事のパフォーマンスの観察は、学習者のスキルがトレーニングの結果改善したかどうかを示す。

    よくつかわれる調査の種類
  • 対面
  • 電話インタビュー
  • 質問紙
  • WEB調査

    査定と検定の種類
  • 複数選択式、〇×形式、穴埋め形式、記述式の口頭または書き言葉での知識テスト
  • 観察された仕事のスキルの実際のパフォーマンス
  • 質的な基準に対する仕事の結果、成果、アウトプットの分析

現存データとは、保管されているまたは存在している記録、報告書、データである。
職務記述書、コンピテンシーモデル、ベンチマーキングレポート、事業報告書、財務諸表、戦略計画、企業理念、雇用統計、360度フィードバック、業績評価、苦情の種、離職率、欠勤率など

評価データは機密データとして扱い、回答者の匿名性を保持するべきである。

 やばい。統計の本も調べながら日本語にしてみたけど、そもそも知らない日本語だらけになってきた。永塚さんも怪しいんじゃないの、と思い

「永塚さん、来期からはやっぱり統制群のサンプリングが大切になってきますよね?」

とか、適当なことを問いかけたら

「本来はそうなんだが、そもそも有意な結果が出るほどサンプル数が無いだろ。いい方法が無いか、一緒に考えるか?」

と返ってきた。私が相当の理解をしていると思われたら大変だ。慌てて丁重なお断りをしておいた。