検者間信頼性とは、例えばレントゲンによる骨折の診断をした場合、他の医師(他の検者)とどのくらい一致するか、といった診断力の信頼性をみる検定です。
検者内信頼性とは、同一検者の反復検査の信頼性をみる検定です。ある程度時間をあけてて同じレントゲンを診た時に、同じ診断にいたるかをみます。
検者内・検者間信頼性が低いと、その検査法の信頼性が低いとみなされ、研究デザインそのものの見直しが必要になるため、研究の早めの段階で信頼性の検定を行っておく必要があります。
Kappa値
Analyze(分析) → Descriptive Statistics (記述的統計)→ Crosstabs (クロス集計表) → Option(オプション)→Kappaをチェック
カイ二乗検定で求めることが出来ます。レントゲン診断の骨折有無など、名義変数を対象とした検定です。
サンプル数は、全体の10%で充分だそうです。kが0.81~1.00の間にあればほぼ完全な一致、0.61~0.80の間にあれば実質的に一致している判断します。
級内相関係数(Intraclass Correlation Coefficient、ICC)
レントゲンでの角度計測など、順序変数対象とした検定です。
SPSSでは、分析→信頼性分析 をひらきます。統計ボタンをクリックし、「F検定」、「級内相関係数」をチェックします。
級内相関係数が高い時は相関係数も高くなりますが、その逆に相関係数が高いからといって級内相関係数が高くなるとは限りません。 また級内相関係数は、相関係数と同様に-1~1の間の値になります。 そして偶然の一致程度の一致の時は0になり、完全一致の時は1になり、完全に反対で一致する時、つまりデータの間に負の相関があり、一方のデータの大小関係を反対にするともう一方のデータと完全一致する時は-1になります。
ICC の値 判定
0.0 − 0.20 slight
0.21 − 0.40 fair
0.41 − 0.60 moderate
0.61 − 0.80 substantial
0.81 − 1.00 almost perfect
Landis JR,Koch GG:The measurement of observer agreement for categorical data.Biometrics. 33,159-174,1977
参考リンク
http://www.mizumot.com/stats/kappa.htm
http://www.snap-tck.com/room04/c01/stat/stat05/stat0504.html
http://www.hs.hirosaki-u.ac.jp/~pteiki/research/stat/icc.pdf
2018-12-20 更新